For the evaluation using the Japanese LM Evaluation Harness, we utilized Stability AI Japan's fork of lm-eval-harness3[13] and configured it according to their convention. This configuration is widely used and compatible with the results on their report4 and Rinna leaderboards5, thus allowing direct comparison of scores with a large number of Japanese LLMs.
일본 LM Evaluation Harness를 사용한 평가를 위해, 우리는 Stability AI Japan의 lm-eval-harness3[13] 포크를 활용하고 그들의 규칙에 따라 구성했습니다. 이 구성은 널리 사용되며 보고서4 및 Rinna 리더보드5의 결과와 호환되므로 많은 일본 LLM과 점수를 직접 비교할 수 있습니다.
일본 LM 평가 하네스를 사용한 평가를 위해, 우리는 Stability AI Japan의 lm-eval-harness3[13] 포크를 활용하고 그들의 규칙에 따라 구성했습니다. 이 구성은 널리 사용되며 보고서4 및 Rinna 리더보드5의 결과와 호환되므로 많은 일본 LLM과 점수를 직접 비교할 수 있습니다.