In the previous section, our experiments focus on Chinese. To investigate whether similar conclusions could be drawn in other non-English languages, we extend our experiments to 13 low-resource languages. To ensure evaluation consistency, we translate LLM-Eval benchmark into these 13 languages and employ the same evaluation metrics. As shown in table 3, a significant improvement in response quality for all low-resource languages with the increase in SFT data. Among these languages, Arabic, Indonesian, and Vietnamese exhibited the best performance. Despite all thirteen languages being low-resource, these three languages are more frequently used [23]. As a result, LLaMA encounters them more often (although their overall occurrence is small compared to English), allowing the model to quickly comprehend instructions in these languages. This aligns with the conclusion drawn in the previous section.
이전 섹션에서는 실험이 중국어에 초점을 맞추고 있습니다. 다른 비영어 언어에서도 유사한 결론을 도출할 수 있는지 조사하기 위해 13개의 저자원 언어로 실험을 확장했습니다. 평가 일관성을 보장하기 위해 LLM-Eval 벤치마크를 이 13개 언어로 번역하고 동일한 평가 지표를 사용했습니다. 표 3과 같이, Supervised Fine-tuning (SFT) 데이터의 증가에 따라 모든 저자원 언어의 응답 품질이 크게 향상되었습니다. 이러한 언어 중 아랍어, 인도네시아어, 베트남어가 가장 우수한 성능을 보였습니다. 13개 언어 모두 저자원 언어임에도 불구하고 이 세 언어는 더 자주 사용됩니다[23]. 따라서 LLaMA는 이러한 언어를 더 자주 접하게 되며(전체적으로 영어에 비해 발생 빈도는 적지만), 모델이 이러한 언어의 Instruction을 빠르게 이해할 수 있습니다. 이는 이전 섹션에서 도출한 결론과 일치합니다.
이전 섹션에서는 실험이 중국어에 초점을 맞추고 있습니다. 다른 비영어 언어에서도 유사한 결론을 도출할 수 있는지 조사하기 위해 13개의 저자원 언어로 실험을 확장했습니다. 평가 일관성을 보장하기 위해 LLM-Eval 벤치마크를 이 13개 언어로 번역하고 동일한 평가 지표를 사용했습니다. 표 3과 같이, SFT 데이터의 증가에 따라 모든 저자원 언어의 응답 품질이 크게 향상되었습니다. 이러한 언어 중 아랍어, 인도네시아어, 베트남어가 가장 우수한 성능을 보였습니다. 13개 언어 모두 저자원 언어임에도 불구하고 이 세 언어는 더 자주 사용됩니다[23]. 따라서 LLaMA는 이러한 언어를 더 자주 접하게 되며(전체적으로 영어에 비해 발생 빈도는 적지만), 모델이 이러한 언어의 명령을 빠르게 이해할 수 있습니다. 이는 이전 섹션에서 도출한 결론과 일치합니다.