Compared to the source Japanese model (Shisa Gmma 7B v1), it is interesting to note that there is not only a significant improvement in the MGSM scores but also improvements in other tasks such as JSQuAD and JAQKET. It should be noted that the MGSM scores here do not match those in Table 1, due to the differences in evaluation protocols (few-shot, prompting, etc.). Additional details are provided in Appendix A, including extensive comparisons with other models in Table 4.
소스 일본어 모델(Shisa Gmma 7B v1)과 비교했을 때, MGSM 점수가 크게 향상되었을 뿐만 아니라 JSQuAD 및 JAQKET과 같은 다른 작업도 개선되었다는 점이 흥미롭습니다. 여기서 MGSM 점수는 평가 프로토콜(few-shot, prompting 등)의 차이로 인해 표 1의 점수와 일치하지 않는다는 점에 유의해야 합니다. 표 4에서 다른 모델과의 광범위한 비교를 포함하여 자세한 내용은 부록 A에서 확인할 수 있습니다.
소스 일본어 모델(Shisa Gmma 7B v1)과 비교했을 때, MGSM 점수가 크게 향상되었을 뿐만 아니라 JSQuAD 및 JAQKET과 같은 다른 작업도 개선되었다는 점이 흥미롭습니다. 여기서 MGSM 점수는 평가 프로토콜(소수 샷, 프롬프트 등)의 차이로 인해 표 1의 점수와 일치하지 않는다는 점에 유의해야 합니다. 표 4에서 다른 모델과의 광범위한 비교를 포함하여 자세한 내용은 부록 A에서 확인할 수 있습니다.