Furthermore, Table 2 presents the results of evaluating the general Japanese language ability using the Japanese Language Model Evaluation Harness (JP-LMEH) benchmark suite. This benchmark suite consists of nine tasks, and the average score across these tasks is widely used as an indicator of overall Japanese language proficiency. Our models achieve remarkably high scores of 70.5 and 66.2, surpassing the source models and even the previous state-of-the-art 70B parameter Japanese LLM (specifically, Japanese StableLM 70B), despite having only 7B to 10B parameters.
또한 표 2는 Japanese Language Model Evaluation Harness (JP-LMEH) 벤치마크 제품군을 사용하여 일반 일본어 능력을 평가한 결과를 보여줍니다. 이 벤치마크 제품군은 9개의 작업으로 구성되어 있으며, 이러한 작업의 평균 점수는 전반적인 일본어 능력의 지표로 널리 사용됩니다. 우리의 모델은 70.5점과 66.2점의 매우 높은 점수를 달성하여 소스 모델과 이전의 state-of-the-art 70B 파라미터 Japanese LLM(특히 Japanese StableLM 70B)을 능가했지만, 파라미터는 7B에서 10B에 불과합니다.
또한 표 2는 일본어 모델 평가 하네스(JP-LMEH) 벤치마크 제품군을 사용하여 일반 일본어 능력을 평가한 결과를 보여줍니다. 이 벤치마크 제품군은 9개의 작업으로 구성되어 있으며, 이러한 작업의 평균 점수는 전반적인 일본어 능력의 지표로 널리 사용됩니다. 우리의 모델은 70.5점과 66.2점의 매우 높은 점수를 달성하여 소스 모델과 이전의 최첨단 70B 파라미터 일본어 LLM(특히 일본어 StableLM 70B)을 능가했지만, 파라미터는 7B에서 10B에 불과합니다.