Evaluation methodAll evaluations were done by appending each of the multiple-choice options to the question, followed by passing the concatenation through the model to get a log probability score per option. The highest score was interpreted as the model's choice and used for accuracy calculation.
평가 방법 모든 평가는 복수 선택 문제 옵션 각각을 질문에 추가한 다음 연결된 문자열을 모델에 통과시켜 옵션당 log probability 점수를 구하는 방식으로 수행되었습니다. 가장 높은 점수를 모델의 선택으로 해석하고 정확도 계산에 사용했습니다.
평가 방법모든 평가는 복수 선택 문제 옵션 각각을 질문에 추가한 다음 연결된 문자열을 모델에 통과시켜 옵션당 로그 확률 점수를 구하는 방식으로 수행되었습니다. 가장 높은 점수를 모델의 선택으로 해석하고 정확도 계산에 사용했습니다.