When testing QA tasks (ARC-e, ARC-c, HellaSwag), two approaches are typically employed. The first involves using Perplexity (PPL): we extend each options as the continuation of the question and use the PPL of the option as the selection criterion. The second is direct generation, where the model directly outputs answer options. We observe significant differences in results obtained using these two methods. MiniCPM performs similarly in direct generation and PPL tests, with better performance in direct generation. On the other hand, Mistral-7B-v0.1 performs better in PPL tests but exhibits poorer performance in direct generation. To address this phenomenon, when reporting the scores for each model, we adopt the score from the evaluation method that yields the highest score, ensuring fairness in comparison.
QA 과제(ARC-e, ARC-c, HellaSwag)를 테스트할 때 일반적으로 두 가지 접근 방식을 사용합니다. 첫 번째는 Perplexity (PPL)를 사용하는 것입니다. 각 옵션을 질문의 연장선상에서 사용하고 옵션의 PPL을 선택 기준으로 사용합니다. 두 번째는 모델이 직접 답변 옵션을 출력하는 직접 생성입니다. 이 두 가지 방법을 사용하여 얻은 결과에서 상당한 차이를 관찰했습니다. MiniCPM은 직접 생성 및 PPL 테스트에서 비슷한 성능을 보이며, 직접 생성에서 더 나은 성능을 보입니다. 반면에 Mistral-7B-v0.1은 PPL 테스트에서 더 나은 성능을 보이지만 직접 생성에서는 성능이 떨어집니다. 이러한 현상을 해결하기 위해 각 모델의 점수를 보고할 때 가장 높은 점수를 산출하는 평가 방법의 점수를 채택하여 공정한 비교를 보장합니다.
QA 과제(ARC-e, ARC-c, HellaSwag)를 테스트할 때 일반적으로 두 가지 접근 방식을 사용합니다. 첫 번째는 난해도(PPL)를 사용하는 것입니다. 각 옵션을 질문의 연장선상에서 사용하고 옵션의 PPL을 선택 기준으로 사용합니다. 두 번째는 모델이 직접 답변 옵션을 출력하는 직접 생성입니다. 이 두 가지 방법을 사용하여 얻은 결과에서 상당한 차이를 관찰했습니다. MiniCPM은 직접 생성 및 PPL 테스트에서 비슷한 성능을 보이며, 직접 생성에서 더 나은 성능을 보입니다. 반면에 Mistral-7B-v0.1은 PPL 테스트에서 더 나은 성능을 보이지만 직접 생성에서는 성능이 떨어집니다. 이러한 현상을 해결하기 위해 각 모델의 점수를 보고할 때 가장 높은 점수를 산출하는 평가 방법의 점수를 채택하여 공정한 비교를 보장합니다.