Contribution 2: An improved evaluation protocol for legal LLMs.Concurrently, we introduce LegalBench-Instruct, a supplemental iteration of LegalBench Guha et al. (2022, 2023)2, crafted to better gauge and refine the legal proficiency of language models, which we hope will contribute to future advancements into research in the legal domain. To further enrich the models' capabilities in legal contexts, we also include the legal tasks of the popular MMLU benchmark Hendrycks et al. (2020) in our evaluation protocol, particularly focusing on international law, professional law3 and jurisprudence.
기여 2: 법률 LLMs에 대한 개선된 평가 프로토콜. 동시에, 우리는 LegalBench Guha et al. (2022, 2023)2의 보완된 반복인 LegalBench-Instruct를 소개합니다. 이는 언어 모델의 법률 전문성을 더 잘 평가하고 개선하기 위해 제작되었으며, 법률 분야 연구의 미래 발전에 기여할 수 있기를 바랍니다. 모델의 법률 맥락에서의 능력을 더욱 풍부하게 하기 위해, 우리는 평가 프로토콜에 인기 있는 MMLU 벤치마크 Hendrycks et al. (2020)의 법률 과제도 포함시켰으며, 특히 국제법, 전문법3 및 법학에 중점을 두었습니다.
기여도 2: 개선된 법률 LLM 평가 프로토콜.동시에, 우리는 언어 모델의 법률적 숙련도를 더 잘 측정하고 개선하기 위해 제작된 LegalBench-Instruct, LegalBench Guha et al. (2022, 2023)2의 보완적인 반복을 소개하며, 이를 통해 향후 법률 영역의 연구 발전에 기여할 수 있기를 기대합니다. 법률 맥락에서 모델의 역량을 더욱 강화하기 위해 평가 프로토콜에 인기 있는 MMLU 벤치마크 Hendrycks et al. (2020)의 법률 과제, 특히 국제법, 전문법3 및 법학에 중점을 두고 있습니다.