In our evaluations, we compare against a number of external decoder-only transformer language models and unless otherwise stated we use the numbers published in the reports of the corresponding models. For English and code tasks, we share detailed results for Nemotron-4 15B, LlaMA-2 13B and 34B (Touvron et al., 2023b), Mistral 7B (Jiang et al., 2023), Baichuan-2 13B (Yang et al., 2023), QWEN 14B (Bai et al., 2023), and Gemma 7B (Gemma Team, 2024). For multilingual benchmarks, we report results against PaLM 62B and 62B-cont (Chowdhery et al., 2022) as well as models specially trained for multilingual capabilities such as mGPT 13B (Shliazhko et al., 2022) and XGLM 7.5B (Lin et al., 2022).
평가에서는 여러 외부 decoder-only transformer 언어 모델과 비교하며, 달리 명시되지 않는 한 해당 모델의 보고서에 게시된 수치를 사용합니다. 영어 및 코드 작업의 경우, Nemotron-4 15B, LlaMA-2 13B 및 34B(Touvron et al., 2023b), Mistral 7B(Jiang et al., 2023), Baichuan-2 13B(Yang et al., 2023), QWEN 14B(Bai et al., 2023), Gemma 7B(Gemma Team, 2024)에 대한 자세한 결과를 공유합니다. 다국어 벤치마크의 경우, PaLM 62B 및 62B-cont(Chowdhery et al., 2022)와 mGPT 13B(Shliazhko et al., 2022) 및 XGLM 7.5B(Lin et al., 2022)와 같이 다국어 기능을 위해 특별히 훈련된 모델과 비교하여 결과를 보고합니다.
평가에서는 여러 외부 디코더 전용 트랜스포머 언어 모델과 비교하며, 달리 명시되지 않는 한 해당 모델의 보고서에 게시된 수치를 사용합니다. 영어 및 코드 작업의 경우, Nemotron-4 15B, LlaMA-2 13B 및 34B(Touvron et al., 2023b), Mistral 7B(Jiang et al., 2023), Baichuan-2 13B(Yang et al., 2023), QWEN 14B(Bai et al., 2023), Gemma 7B(Gemma Team, 2024)에 대한 자세한 결과를 공유합니다. 다국어 벤치마크의 경우, PaLM 62B 및 62B-cont(Chowdhery et al., 2022)와 mGPT 13B(Shliazhko et al., 2022) 및 XGLM 7.5B(Lin et al., 2022)와 같이 다국어 기능을 위해 특별히 훈련된 모델과 비교하여 결과를 보고합니다.