II. Legal instruction finetuning further boosts the resultsAs seen on Figure 2, finetuning SaulLM-7B on both general and legal instructions (SaulLM-7B-Instruct) establishes a new state-of-the-art on the LegalBench-Instruct benchmark, with an average score of \(0.61\), i.e. an \(11\)% relative improvement compared to the best open-source instruct model (Figure 5. Finally, DPO-aligned models tend to underperform their instruction-tuned counterparts, which could be explained by the fact that generic alignment is not suited for out-of-distribution tasks, such as the ones present in LegalBench-Instruct. Although beyond the scope of the present work, an interesting research direction would be to explore how legal-specific DPO can help.
II. Legal Instruction Fine-tuning은 결과를 더욱 향상시킵니다. 그림 2에서 볼 수 있듯이 일반 지침과 법률 지침 모두에 대해 SaulLM-7B를 Fine-tuning하면(SaulLM-7B-Instruct), LegalBench-Instruct 벤치마크에서 평균 점수 \(0.61\), 즉 최고의 오픈 소스 Instruction 모델과 비교하여 \(11\)% 상대적 향상을 보이는 새로운 최신 기록을 수립합니다(그림 5). 마지막으로, DPO에 맞춘 모델은 Instruction-tuned 모델보다 성능이 저조한 경향이 있는데, 이는 일반적인 정렬이 LegalBench-Instruct에 존재하는 것과 같은 분산된 작업에는 적합하지 않다는 사실로 설명할 수 있습니다. 본 연구의 범위를 벗어났지만, 법률-specific DPO가 어떻게 도움이 될 수 있는지 탐구하는 것은 흥미로운 연구 방향이 될 것입니다.
II. 법률 지침 미세 조정은 결과를 더욱 향상시킵니다. 그림 2에서 볼 수 있듯이 일반 지침과 법률 지침 모두에 대해 SaulLM-7B를 미세 조정하면(SaulLM-7B-Instruct), LegalBench-Instruct 벤치마크에서 평균 점수 \(0.61\), 즉 최고의 오픈 소스 지침 모델과 비교하여 \(11\)% 상대적 향상을 보이는 새로운 최신 기록을 수립합니다(그림 5. 마지막으로, DPO에 맞춘 모델은 지침을 조정한 모델보다 성능이 저조한 경향이 있는데, 이는 일반적인 정렬이 LegalBench-Instruct에 존재하는 것과 같은 분산된 작업에는 적합하지 않다는 사실로 설명할 수 있습니다. 본 연구의 범위를 벗어났지만, 법률별 DPO가 어떻게 도움이 될 수 있는지 탐구하는 것은 흥미로운 연구 방향이 될 것입니다.