For general-purpose language models, diversity and quality of instruction are crucial Cao et al. (2023); Zhou et al. (2023). However, in specialized domains it is crucial to incorporate task-specific and specialized prompts to enhance performance. Our instruction fine-tuning stage involves \(2\) key components: generic (ie, non-legal) and legal instructions. The former help enhance the model's understanding and following of commands, and includes data from diverse domains such as coding, mathematics, and general conversations. For the latter we employ an extensive collection of datasets tailored to the nuances of legal domains, covering legal question answering and summarization, among others. Through this metic lous fine-tuning on instructional data, our model, SaulLM-7B-Instruct, is able to grasp legal intricacies and excels in a wide range of associated tasks.
범용 언어 모델의 경우 지시의 다양성과 품질이 매우 중요합니다 Cao et al. (2023); Zhou et al. (2023). 그러나 전문 분야에서는 작업별 및 전문 프롬프트를 통합하여 성능을 향상시키는 것이 중요합니다. 우리의 Instruction Fine-tuning 단계에는 일반(즉, 비법률적) 지침과 법률적 지침이라는 2가지 주요 구성 요소가 포함됩니다. 전자는 명령을 이해하고 따르는 모델의 이해를 높이는 데 도움이 되며 코딩, 수학, 일반 대화 등 다양한 영역의 데이터를 포함합니다. 후자의 경우 법률 질문 답변 및 요약 등 법률 영역의 뉘앙스에 맞는 광범위한 데이터 세트를 사용합니다. 이러한 세심한 Instruction Fine-tuning 데이터를 통해 우리 모델인 SaulLM-7B-Instruct는 법률의 복잡성을 파악하고 다양한 관련 작업에서 탁월한 성능을 발휘할 수 있었습니다.
범용 언어 모델의 경우 지시의 다양성과 품질이 매우 중요합니다 Cao et al. (2023); Zhou et al. (2023). 그러나 전문 분야에서는 작업별 및 전문 프롬프트를 통합하여 성능을 향상시키는 것이 중요합니다. 지침 미세 조정 단계에는 일반(즉, 비법률적) 지침과 법률적 지침이라는 2가지 주요 구성 요소가 포함됩니다. 전자는 명령을 이해하고 따르는 모델의 이해를 높이는 데 도움이 되며 코딩, 수학, 일반 대화 등 다양한 영역의 데이터를 포함합니다. 후자의 경우 법률 질문 답변 및 요약 등 법률 영역의 뉘앙스에 맞는 광범위한 데이터 세트를 사용합니다. 이러한 세심한 교육 데이터를 통해 우리 모델인 SaulLM-7B-Instruct는 법률의 복잡성을 파악하고 다양한 관련 작업에서 탁월한 성능을 발휘할 수 있었습니다.