To assess the adaptation of SaulLM-7B backbone to the legal domain, we present perplexity scores across four document types: contracts, legal decisions, legislation, and party submissions. Refer to Figure 8 for the results. Our model, SaulLM-7B, consistently outperforms Mistral-7B across all categories, exhibiting lower average perplexity scores with reduced variance. Interestingly, Llama2-7B demonstrates lower perplexity specifically in legislation documents, suggesting a potentially higher proportion of legislative text in the pertaining corpora compared to Mistral-7B.
법률 도메인에 대한 SaulLM-7B 백본의 적응도를 평가하기 위해 계약서, 법적 결정, 법률 및 당사자 제출물 등 네 가지 문서 유형에 대한 perplexity 점수를 제시합니다. 결과는 그림 8을 참조하세요. 우리 모델인 SaulLM-7B는 모든 카테고리에서 Mistral-7B보다 일관되게 뛰어난 성능을 보이며, 평균 perplexity 점수가 낮고 분산이 줄어든 것을 보여줍니다. 흥미롭게도, 특히 입법 문서에서 더 낮은 perplexity를 보이는 Llama2-7B는 관련 corpora에서 입법 문서의 비중이 Mistral-7B에 비해 더 높을 수 있음을 시사합니다.
법률 도메인에 대한 SaulLM-7B 백본의 적응도를 평가하기 위해 계약서, 법적 결정, 법률 및 당사자 제출물 등 네 가지 문서 유형에 대한 당혹감 점수를 제시합니다. 결과는 그림 8을 참조하세요. 우리 모델인 SaulLM-7B는 모든 카테고리에서 Mistral-7B보다 일관되게 뛰어난 성능을 보이며, 평균 당혹감 점수가 낮고 분산이 줄어든 것을 보여줍니다. 흥미롭게도, 특히 입법 문서에서 더 낮은 당혹감을 보이는 Llama2-7B는 관련 코퍼라에서 입법 문서의 비중이 Mistral-7B에 비해 더 높을 수 있음을 시사합니다.