To complement the performance result using LLM-based automatic evaluator, we also evaluate LLMs tuned with the top methods presented in Section 5.4 on standard NLP benchmarks, MMLU Hendrycks et al. (2020) and BBH Suzgun et al. (2022). We follow the same settings introduced in Wang et al. (2023) without demonstrations or CoT Wei et al. (2022) prompt for evaluating the target models based on LLaMA-7B. For our method, we follow the same setting as in Evol-Instruction benchmark evaluation. We present the evaluation results in Table 4 and use the performance of vanilla LLaMA-7B as a reference. We observe the same performance ranking of all methods as that in Table 1 where we use LLM-based automatic evaluator.
LLM 기반 자동 평가기를 사용하여 성능 결과를 보완하기 위해 표준 NLP 벤치마크인 MMLU Hendrycks et al. (2020)과 BBH Suzgun et al. (2022)에 대해 섹션 5.4에서 제시한 최고의 방법으로 Fine-tuning된 LLM도 평가합니다. LLaMA-7B를 기반으로 대상 모델을 평가하기 위해 데모나 CoT Wei et al. (2022) 프롬프트 없이 Wang et al. (2023)에서 소개한 동일한 설정을 따릅니다. 우리 방법의 경우 Evol-Instruction 벤치마크 평가에서와 동일한 설정을 따릅니다. 평가 결과를 표 4에 제시하고 바닐라 LLaMA-7B의 성능을 참조로 사용합니다. LLM 기반 자동 평가기를 사용한 표 1에서와 동일한 방법의 성능 순위를 관찰할 수 있습니다.
LLM 기반 자동 평가기를 사용하여 성능 결과를 보완하기 위해 표준 NLP 벤치마크인 MMLU Hendrycks et al. (2020)과 BBH Suzgun et al. (2022)에 대해 섹션 5.4에서 제시한 최고의 방법으로 조정된 LLM도 평가합니다. LLaMA-7B를 기반으로 대상 모델을 평가하기 위해 데모나 CoT Wei et al. (2022) 프롬프트 없이 Wang et al. (2023)에서 소개한 동일한 설정을 따릅니다. 우리 방법의 경우 Evol-Instruction 벤치마크 평가에서와 동일한 설정을 따릅니다. 평가 결과를 표 4에 제시하고 바닐라 LLaMA-7B의 성능을 참조로 사용합니다. LLM 기반 자동 평가기를 사용한 표 1에서와 동일한 방법의 성능 순위를 관찰할 수 있습니다.