In this paper, we introduce SaulLM-7B, an open-source decoder model delivering state-of-the-art performance, compared to 7B models, within the legal domain. Our approach entails fine-tuning legal data alongside instruction fine-tuning on synthetic datasets. Additionally, we contribute by providing a cleaned version of LegalBench and introducing a new set of documents for perplexity measurement. We hope that our model, which is released under the MIT license, will contribute to the open-source ecosystem and the community.
이 백서에서는 법률 영역 내에서 7B 모델과 비교했을 때 최첨단 성능을 제공하는 오픈 소스 decoder 모델인 SaulLM-7B를 소개합니다. 저희의 접근 방식은 합성 데이터 세트에 대한 Instruction Fine-tuning과 함께 법률 데이터를 Fine-tuning하는 것입니다. 또한, 정리된 버전의 LegalBench를 제공하고 Perplexity 측정을 위한 새로운 문서 세트를 소개함으로써 기여하고 있습니다. MIT 라이선스에 따라 공개되는 저희 모델이 오픈 소스 생태계와 커뮤니티에 기여하기를 바랍니다.
이 백서에서는 법률 영역 내에서 7B 모델과 비교했을 때 최첨단 성능을 제공하는 오픈 소스 디코더 모델인 SaulLM-7B를 소개합니다. 저희의 접근 방식은 합성 데이터 세트에 대한 지침 미세 조정과 함께 법률 데이터를 미세 조정하는 것입니다. 또한, 정리된 버전의 LegalBench를 제공하고 당혹감 측정을 위한 새로운 문서 세트를 소개함으로써 기여하고 있습니다. MIT 라이선스에 따라 공개되는 저희 모델이 오픈 소스 생태계와 커뮤니티에 기여하기를 바랍니다.