Table 1 summarizes the performance of the LLMs on Japanese Math and overall Japanese benchmark tasks. The MGSM-JA column reports the results from the MGSM test set, employing the previously described metrics. The Japanese language model (Model 1) demonstrates limited mathematical proficiency, while the Math models (Models 2 and 3), though mathematically adept, show insufficient command of the Japanese language. Consequently, all three models score low scores on the MGSM-JA, with accuracy at or below 30.0.
표 1은 일본어 수학 및 전체 일본어 벤치마크 과제에서 LLM의 성능을 요약한 것입니다. MGSM-JA 열에는 앞서 설명한 metrics를 사용하여 MGSM 테스트 세트의 결과가 보고됩니다. 일본어 모델(Model 1)은 수학적 능력이 제한적인 반면, 수학 모델(Models 2 및 3)은 수학적 능력은 뛰어나지만 일본어에 대한 지배력이 부족합니다. 따라서 세 모델 모두 MGSM-JA에서 낮은 점수를 받았으며 정확도는 30.0 이하입니다.
표 1은 일본어 수학 및 전체 일본어 벤치마크 과제에서 LLM의 성능을 요약한 것입니다. MGSM-JA 열에는 앞서 설명한 메트릭을 사용하여 MGSM 테스트 세트의 결과가 보고됩니다. 일본어 모델(모델 1)은 수학적 능력이 제한적인 반면, 수학 모델(모델 2 및 3)은 수학적 능력은 뛰어나지만 일본어에 대한 지배력이 부족합니다. 따라서 세 모델 모두 MGSM-JA에서 낮은 점수를 받았으며 정확도는 30.0 이하입니다.