**Instruction Following Ability Evaluation** Vicuna (Chiang et al., 2023) evaluate the generation ability by using GPT-4 to pairwisely judge the quality of the outputs from two models. However, we will have to call the GPT-4 API \(\frac{n(n-1)}{2}\) times to compare \(n\) models pairwisely. To simplify the scoring process, we treat the answers from GPT-4 as ground truth, assigning them a perfect 10-point score. Then, we use GPT-4 as a scorer to rate the outputs of other models based on several criteria, such as usefulness, relevance, correctness, detail, and language use. GPT-4 provides a justification and a score between 0 and 10 points for each prompt-response pair. We calculate the average score of each model as the final result.
**Instruction Following Ability Evaluation** Vicuna(Chiang et al., 2023)는 GPT-4를 사용하여 두 모델의 출력 품질을 쌍으로 비교하여 생성 능력을 평가합니다. 그러나 n개의 모델을 쌍으로 비교하려면 GPT-4 API를 \(\frac{n(n-1)}{2}\)번 호출해야 합니다. 채점 프로세스를 간소화하기 위해 GPT-4의 답변을 기준값으로 간주하여 10점 만점을 부여합니다. 그런 다음 GPT-4를 채점자로 사용하여 유용성, 관련성, 정확성, 세부 사항 및 언어 사용과 같은 여러 기준에 따라 다른 모델의 출력을 평가합니다. GPT-4는 각 프롬프트-응답 쌍에 대해 정당성과 0점에서 10점 사이의 점수를 제공합니다. 각 모델의 평균 점수를 최종 결과로 계산합니다.
**지시 사항 준수 능력 평가** Vicuna(Chiang et al., 2023)는 GPT-4를 사용하여 두 모델의 출력 품질을 쌍으로 비교하여 생성 능력을 평가합니다. 그러나 n개의 모델을 쌍으로 비교하려면 GPT-4 API를 \(\frac{n(n-1)}{2}\)번 호출해야 합니다. 채점 프로세스를 간소화하기 위해 GPT-4의 답변을 기준값으로 간주하여 10점 만점을 부여합니다. 그런 다음 GPT-4를 채점자로 사용하여 유용성, 관련성, 정확성, 세부 사항 및 언어 사용과 같은 여러 기준에 따라 다른 모델의 출력을 평가합니다. GPT-4는 각 프롬프트-응답 쌍에 대해 정당성과 0점에서 10점 사이의 점수를 제공합니다. 각 모델의 평균 점수를 최종 결과로 계산합니다.