taxonomy [14] to gain a more granular understanding of SaulLM-7B-Instruct's performance, by partitioning the tasks into \(5\) core legal abilities: Issue Spotting, Rule-Recall, Interpretation, Rhetoric Understanding, and Rule-Conclusion. Results show an interesting trend (Figure 7): SaulLM-7B-Instruct shows clear superior performance over the best non-legal competitor Mistral-7B-Instruct-v0.1 on the four areas that require the most legal expertise, i.e. Issue, Rule, Interpretation and Understanding. On the other hand, it falls short of Mistral-7B-Instruct-v0.1 on the Conclusion tasks, which interestingly require much more pure deductive reasoning than actual legal knowledge. We speculate that augmenting our pretraining and fine-tuning corpora with more deductive reasoning content, including but not limited to mathematics datasets could reduce the gap and fully unlock the potential of SaulLM-7B-Instruct.
분류학[14]을 사용하여 SaulLM-7B-Instruct의 성능을 보다 세분화하여 이해하고, 이를 5가지 핵심 법률 능력으로 나누어 문제 발견, 규칙 기억, 해석, 수사학 이해, 규칙-결론으로 나누어 분석했습니다. 그 결과 흥미로운 추세(그림 7)가 나타났습니다: SaulLM-7B-Instruct는 가장 많은 법률 전문 지식이 필요한 네 가지 영역, 즉 문제, 규칙, 해석 및 이해에서 최고의 비법률 경쟁자 Mistral-7B-Instruct-v0.1보다 뛰어난 성능을 보여줍니다. 반면, 결론 작업에서는 실제 법적 지식보다 훨씬 더 순수한 연역적 추론이 필요한 Mistral-7B-Instruct-v0.1에 못 미치는 것으로 나타났습니다. 수학 데이터 세트를 포함하되 이에 국한되지 않는 더 많은 연역적 추론 콘텐츠로 사전 학습 및 Fine-tuning 코퍼스를 보강하면 격차를 줄이고 SaulLM-7B-Instruct의 잠재력을 완전히 발휘할 수 있을 것이라고 예상합니다.
분류학[14]을 사용하여 SaulLM-7B-Instruct의 성능을 보다 세분화하여 이해하고, 이를 5가지 핵심 법률 능력으로 나누어 문제 발견, 규칙 기억, 해석, 수사학 이해, 규칙-결론으로 나누어 분석했습니다. 그 결과 흥미로운 추세(그림 7)가 나타났습니다: SaulLM-7B-Instruct는 가장 많은 법률 전문 지식이 필요한 네 가지 영역, 즉 문제, 규칙, 해석 및 이해에서 최고의 비법률 경쟁자 Mistral-7B-Instruct-v0.1보다 뛰어난 성능을 보여줍니다. 반면, 결론 작업에서는 실제 법적 지식보다 훨씬 더 순수한 연역적 추론이 필요한 Mistral-7B-Instruct-v0.1에 못 미치는 것으로 나타났습니다. 수학 데이터 세트를 포함하되 이에 국한되지 않는 더 많은 연역적 추론 콘텐츠로 사전 학습 및 미세 조정 코퍼스를 보강하면 격차를 줄이고 SaulLM-7B-Instruct의 잠재력을 완전히 발휘할 수 있을 것이라고 예상합니다.