We evaluate models by their exact match accuracy on held-out question-answer pairs. The results are shown in Figure 6. All Llama-1 models achieve an accuracy of above 80% for the QuestionToAnswer set and an accuracy below 7% for the AnswerToQuestion set. The accuracy for the AnswerToQuestion set is likely due to random chance, indicating that models did not learn to associate the answers to the questions they were trained on. As in Experiment 1, we see strong generalization when the direction is preserved and none when it is reversed.
보류된 질문-답변 쌍에 대한 정확도를 기준으로 모델을 평가합니다. 그 결과는 그림 6에 나와 있습니다. 모든 Llama-1 모델은 QuestionToAnswer 세트에서 80% 이상의 정확도를, AnswerToQuestion 세트에서 7% 미만의 정확도를 달성했습니다. AnswerToQuestion 세트의 정확도는 무작위로 인한 것일 가능성이 높으며, 이는 모델이 학습된 질문에 대한 답과 연관시키는 방법을 배우지 못했음을 나타냅니다. 실험 1에서와 마찬가지로 방향이 유지되면 강력한 generalization이 이루어지고 방향이 반전되면 generalization이 이루어지지 않습니다.
보류된 질문-답변 쌍에 대한 정확도를 기준으로 모델을 평가합니다. 그 결과는 그림 6에 나와 있습니다. 모든 Llama-1 모델은 QuestionToAnswer 세트에서 80% 이상의 정확도를, AnswerToQuestion 세트에서 7% 미만의 정확도를 달성했습니다. AnswerToQuestion 세트의 정확도는 무작위로 인한 것일 가능성이 높으며, 이는 모델이 학습된 질문에 대한 답과 연관시키는 방법을 배우지 못했음을 나타냅니다. 실험 1에서와 마찬가지로 방향이 유지되면 강력한 일반화가 이루어지고 방향이 반전되면 일반화가 이루어지지 않습니다.