**Bactrain-X**[12]: Bactrian-X contains instructions and responses across 52 languages to facilitate multilingual instruction tuning. It is created by translating 67K English instructions from Alpaca-52k [10] and Dolly-15k [12] datasets into 51 languages, then generating responses with ChatGPT. In order to objectively and comprehensively assess the capabilities of the model, we conduct evaluations from two perspectives: response quality and knowledge level. For the former, we employ the LLM-Eval benchmark and translate it into various low-resource languages to support multilingual evaluation. As for the latter, we utilize four widely adopted standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench.
**Bactrain-X**[12]: Bactrian-X에는 다국어 Instruction Tuning을 용이하게 하기 위해 52개 언어에 걸친 지침과 응답이 포함되어 있습니다. Alpaca-52k[10] 및 Dolly-15k[12] 데이터 세트의 67,000개의 영어 명령어를 51개 언어로 번역한 다음 ChatGPT로 응답을 생성하여 만들었습니다. 모델의 기능을 객관적이고 포괄적으로 평가하기 위해 응답 품질과 지식 수준이라는 두 가지 관점에서 평가를 수행합니다. 전자의 경우 LLM-Eval 벤치마크를 사용하고 다국어 평가를 지원하기 위해 다양한 저자원 언어로 번역합니다. 후자의 경우 널리 채택된 4가지 표준화된 테스트 벤치마크인 C-Eval, MMLU, AGI-Eval, GAOKAO-Bench를 활용합니다.
**박트리아-X**[12]: 박트리아-X에는 다국어 명령어 튜닝을 용이하게 하기 위해 52개 언어에 걸친 지침과 응답이 포함되어 있습니다. 알파카-52k[10] 및 돌리-15k[12] 데이터 세트의 67,000개의 영어 명령어를 51개 언어로 번역한 다음 ChatGPT로 응답을 생성하여 만들었습니다. 모델의 기능을 객관적이고 포괄적으로 평가하기 위해 응답 품질과 지식 수준이라는 두 가지 관점에서 평가를 수행합니다. 전자의 경우 LLM-Eval 벤치마크를 사용하고 다국어 평가를 지원하기 위해 다양한 저자원 언어로 번역합니다. 후자의 경우 널리 채택된 4가지 표준화된 테스트 벤치마크인 C-Eval, MMLU, AGI-Eval, GAOKAO-Bench를 활용합니다.