To further evaluate the generalizability of our model's capabilities, we conducted assessments of its mathematical computation proficiency by subjecting it to the 2023 Hungarian high school mathematics final exam questions, first proposed by the xAI Groke team then reproduced by Paster [55]. This evaluation was undertaken with the aim of determining whether our model exhibited signs of overfitting to training datasets that are mathematically oriented. The results in Fig. 4 show that Yi-34B-Chat performs inspiringly on both the GSM8K and the Hungarian mathematics exam. However, note that Yi-6B-Chat does not exhibit strong mathematical capabilities (on both GSM8K and the Hungarian mathematics exam). We speculate that smaller models may require more data to activate their corresponding abilities during the SFT stage.
모델 기능의 일반화 가능성을 추가로 평가하기 위해 xAI Groke 팀이 처음 제안한 2023년 헝가리 고등학교 수학 기말고사 문제에 적용하여 수학적 계산 능력을 평가한 후 Paster [55]가 재현한 결과, 수학적으로 지향된 학습 데이터 세트에 과적합되는 징후가 있는지 확인하기 위해 수행되었습니다. 그림 4의 결과는 Yi-34B-Chat이 GSM8K와 헝가리 수학 시험 모두에서 고무적인 성능을 보여준다는 것을 보여줍니다. 그러나 Yi-6B-Chat은 GSM8K와 헝가리 수학 시험 모두에서 강력한 수학적 능력을 보여주지 않는다는 점에 유의하세요. 저희는 소규모 모델은 Supervised Fine-tuning (SFT) 단계에서 해당 기능을 활성화하기 위해 더 많은 데이터가 필요할 수 있다고 추측합니다.
모델 기능의 일반화 가능성을 추가로 평가하기 위해 xAI Groke 팀이 처음 제안한 2023년 헝가리 고등학교 수학 기말고사 문제에 적용하여 수학적 계산 능력을 평가한 후 Paster [55]가 재현한 결과, 수학적으로 지향된 학습 데이터 세트에 과적합되는 징후가 있는지 확인하기 위해 수행되었습니다. 그림 4의 결과는 Yi-34B-Chat이 GSM8K와 헝가리 수학 시험 모두에서 고무적인 성능을 보여준다는 것을 보여줍니다. 그러나 Yi-6B-Chat은 GSM8K와 헝가리 수학 시험 모두에서 강력한 수학적 능력을 보여주지 않는다는 점에 유의하세요. 저희는 소규모 모델은 SFT 단계에서 해당 기능을 활성화하기 위해 더 많은 데이터가 필요할 수 있다고 추측합니다.