In this paper, we present a pioneering initiative to develop the first legal LLM publicly available. Legal text, characterized by its unique syntax and specialized vocabulary presents a distinct linguistic challenge [13, 26]. Our approach focuses on extensive pretraining [15, 22] using dedicated legal corpora from English-speaking jurisdictions such as the USA, Canada, the UK, and Europe [1, 18]. Leveraging the pretraining on a large and diverse legal dataset, both scraped by our team as well as from previous literature [26], our LLM, SaulLM-7B, aims not only to comprehend the complexities of legal documents but also to adapt to the evolving nature of legal discourse.
이 백서에서는 공개적으로 사용할 수 있는 최초의 법률 LLM을 개발하기 위한 선구적인 이니셔티브를 소개합니다. 고유한 구문과 전문 용어가 특징인 법률 텍스트는 뚜렷한 언어적 도전 과제를 제시합니다[13, 26]. 저희의 접근 방식은 미국, 캐나다, 영국, 유럽 등 영어권 법률에서 제공하는 전용 법률 말뭉치를 사용하여 광범위한 pretraining[15, 22]에 중점을 둡니다. 저희 팀이 스크랩한 대규모의 다양한 법률 데이터 세트와 이전 문헌[26]을 기반으로 pretraining을 수행한 LLM인 SaulLM-7B는 법률 문서의 복잡성을 이해할 뿐만 아니라 진화하는 법률 담론의 특성에도 적응하는 것을 목표로 합니다.
이 백서에서는 공개적으로 사용할 수 있는 최초의 법률 LLM을 개발하기 위한 선구적인 이니셔티브를 소개합니다. 고유한 구문과 전문 용어가 특징인 법률 텍스트는 뚜렷한 언어적 도전 과제를 제시합니다[13, 26]. 저희의 접근 방식은 미국, 캐나다, 영국, 유럽 등 영어권 법률에서 제공하는 전용 법률 말뭉치를 사용하여 광범위한 사전 학습[15, 22]에 중점을 둡니다. 저희 팀이 스크랩한 대규모의 다양한 법률 데이터 세트와 이전 문헌[26]을 기반으로 사전 학습을 수행한 LLM인 SaulLM-7B는 법률 문서의 복잡성을 이해할 뿐만 아니라 진화하는 법률 담론의 특성에도 적응하는 것을 목표로 합니다.