During our investigations, we found a significant limitation in the original prompts of LegalBench. The complex nature of these prompts, combined with the challenges encountered by open source LLMs in adhering to instructions - particularly in handling formatting - leads to a substantial drop in performance (as measured by accuracy). The generated sentences are often verbose and difficult to parse, rendering LegalBench in its current form too stringent and failing to accurately gauge improvement on the task.
조사하는 동안 저희는 LegalBench의 원래 prompts에서 상당한 한계를 발견했습니다. 이러한 prompts의 복잡한 특성과 오픈 소스 LLM이 instructions을 준수하는 데 직면한 문제, 특히 서식 처리 문제로 인해 성능(정확도로 측정)이 크게 저하되는 것으로 나타났습니다. 생성된 문장이 종종 장황하고 구문 분석이 어려워 현재 형태의 LegalBench는 너무 엄격하고 작업 개선을 정확하게 측정하지 못합니다.
조사하는 동안 저희는 LegalBench의 원래 프롬프트에서 상당한 한계를 발견했습니다. 이러한 프롬프트의 복잡한 특성과 오픈 소스 LLM이 지침을 준수하는 데 직면한 문제, 특히 서식 처리 문제로 인해 성능(정확도로 측정)이 크게 저하되는 것으로 나타났습니다. 생성된 문장이 종종 장황하고 구문 분석이 어려워 현재 형태의 LegalBench는 너무 엄격하고 작업 개선을 정확하게 측정하지 못합니다.