accuracy. * **MMLU**6 (Hendrycks et al., 2020): A test for a text model's multitasking accuracy, covering 57 tasks from elementary math to U.S. history, computer science, law, and beyond. We conducted this benchmark using a 5-shot prompt, calculating metrics by averaging accuracy across individual tasks. * **C-eval-tw**: C-eval7 (Huang et al., 2023) serves as a test to evaluate the advanced knowledge and reasoning abilities of foundational models in a Chinese context. The test was initially in Simplified Chinese, and we translated it into Traditional Chinese using the Google Translate (Wu et al., 2016) API in the deep-translator8 package. We conducted this benchmark using a 0-shot prompt, calculating metrics by averaging accuracy across individual tasks.
정확도. * **MMLU**6 (Hendrycks et al., 2020): 초등 수학부터 미국 역사, 컴퓨터 과학, 법학 등 57개 과제를 아우르는 텍스트 모델의 multitasking 정확도 테스트입니다. 이 벤치마크는 5-shot 프롬프트를 사용하여 개별 과제에 대한 정확도를 평균하여 메트릭을 계산했습니다. * **C-eval-tw**: C-eval7(Huang et al., 2023)은 중국어 맥락에서 기초 모델의 고급 지식과 추론 능력을 평가하기 위한 테스트입니다. 이 테스트는 처음에는 중국어 간체로 진행되었으며, deep-translator8 패키지의 Google 번역(Wu et al., 2016) API를 사용하여 중국어 번체로 번역했습니다. 이 벤치마크는 0-shot 프롬프트를 사용하여 개별 과제에 대한 정확도를 평균하여 메트릭을 계산했습니다.
정확도. * **MMLU**6 (Hendrycks et al., 2020): 초등 수학부터 미국 역사, 컴퓨터 과학, 법학 등 57개 과제를 아우르는 텍스트 모델의 멀티태스킹 정확도 테스트입니다. 이 벤치마크는 5샷 프롬프트를 사용하여 개별 과제에 대한 정확도를 평균하여 메트릭을 계산했습니다. * **C-eval-tw**: C-eval7(Huang et al., 2023)은 중국어 맥락에서 기초 모델의 고급 지식과 추론 능력을 평가하기 위한 테스트입니다. 이 테스트는 처음에는 중국어 간체로 진행되었으며, deep-translator8 패키지의 Google 번역(Wu et al., 2016) API를 사용하여 중국어 번체로 번역했습니다. 이 벤치마크는 0샷 프롬프트를 사용하여 개별 과제에 대한 정확도를 평균하여 메트릭을 계산했습니다.