We evaluate CodecLM on four widely-used open-domain instruction-following benchmarks with diverse instruction distributions to reduce evaluation bias. Our test benchmarks include Evol-Instruct (Xu et al., 2023), Vicuna (Chiang et al., 2023), Self-Instruct (Wang et al., 2022) and Koala (Geng et al., 2023). To complement the evaluation, we also evaluate on two standard NLPbenchmarks MMLU Hendrycks et al. (2020) and BBH Suzgun et al. (2022) in Appendix A.7. Please refer to Appendix A.1 for benchmark details.
평가 편향을 줄이기 위해 다양한 Instruction 분포를 가진 널리 사용되는 4개의 오픈 도메인 Instruction-following 벤치마크에 대해 CodecLM을 평가합니다. 테스트 벤치마크에는 Evol-Instruct(Xu et al., 2023), Vicuna(Chiang et al., 2023), Self-Instruct(Wang et al., 2022) 및 Koala(Geng et al., 2023)가 포함됩니다. 평가를 보완하기 위해 부록 A.7에서는 두 개의 표준 NLP 벤치마크인 MMLU Hendrycks et al. (2020)과 BBH Suzgun et al. (2022)에 대해서도 평가합니다. 벤치마크 세부 사항은 부록 A.1을 참조하세요.
평가 편향을 줄이기 위해 다양한 명령어 분포를 가진 널리 사용되는 4개의 오픈 도메인 명령어 추종 벤치마크에 대해 CodecLM을 평가합니다. 테스트 벤치마크에는 Evol-Instruct(Xu et al., 2023), Vicuna(Chiang et al., 2023), Self-Instruct(Wang et al., 2022) 및 Koala(Geng et al., 2023)가 포함됩니다. 평가를 보완하기 위해 부록 A.7에서는 두 개의 표준 NLP 벤치마크인 MMLU Hendrycks et al. (2020)과 BBH Suzgun et al. (2022)에 대해서도 평가합니다. 벤치마크 세부 사항은 부록 A.1을 참조하세요.