In this paper, we introduce SaulLM-7B, a large language model (LLM) tailored for the legal domain. With 7 billion parameters, SaulLM-7B is the first LLM designed explicitly for legal text comprehension and generation. Leveraging the Mistrat 7B architecture as its foundation, SaulLM-7B is trained on an English legal corpus of over 30 billion tokens. SaulLM-7B exhibits state-of-the-art proficiency in understanding and processing legal documents. Additionally, we present a novel instructional fine-tuning method that leverages legal datasets to further enhance SaulLM-7B's performance in legal tasks. SaulLM-7B is released under the MIT License.
이 백서에서는 법률 영역에 맞춤화된 Large Language Model (LLM)인 SaulLM-7B를 소개합니다. 70억 개의 파라미터를 갖춘 SaulLM-7B는 법률 텍스트 이해 및 생성을 위해 명시적으로 설계된 최초의 LLM입니다. Mistrat 7B 아키텍처를 기반으로 하는 SaulLM-7B는 300억 개 이상의 토큰으로 구성된 영어 법률 코퍼스에 대해 학습되었습니다. SaulLM-7B는 법률 문서를 이해하고 처리하는 최첨단 능력을 보여줍니다. 또한 법률 데이터 세트를 활용하여 SaulLM-7B의 법률 업무 성능을 더욱 향상시키는 새로운 Instructional Fine-tuning 방법을 소개합니다. SaulLM-7B는 MIT 라이선스에 따라 공개됩니다.
이 백서에서는 법률 영역에 맞춤화된 대규모 언어 모델(LLM)인 SaulLM-7B를 소개합니다. 70억 개의 파라미터를 갖춘 SaulLM-7B는 법률 텍스트 이해 및 생성을 위해 명시적으로 설계된 최초의 LLM입니다. 미스트랫 7B 아키텍처를 기반으로 하는 SaulLM-7B는 300억 개 이상의 토큰으로 구성된 영어 법률 코퍼스에 대해 학습되었습니다. SaulLM-7B는 법률 문서를 이해하고 처리하는 최첨단 능력을 보여줍니다. 또한 법률 데이터 세트를 활용하여 SaulLM-7B의 법률 업무 성능을 더욱 향상시키는 새로운 교육 미세 조정 방법을 소개합니다. SaulLM-7B는 MIT 라이선스에 따라 공개됩니다.