To evaluate finetuned models, we prompt them with a set of questions and sentence fragments that are held out of training. Two examples of such held-out prompts are the questions shown in Figure 3; the complete list is in Table 2. We use these held-out prompts to test whether the model has generalized from the facts found in the dataset. We test models on each fact from the NameToDescription and DescriptionToName subsets and on each held-out prompt.
미세 조정된 모델을 평가하기 위해, 우리는 훈련에서 제외된 일련의 질문과 문장 조각으로 모델을 프롬프트합니다. 이러한 제외된 프롬프트의 두 가지 예는 Figure 3에 표시된 질문들입니다. 전체 목록은 Table 2에 있습니다. 우리는 이 제외된 프롬프트를 사용하여 모델이 데이터셋에서 발견된 사실을 일반화했는지 테스트합니다. 우리는 NameToDescription 및 DescriptionToName 하위 집합의 각 사실과 각 제외된 프롬프트에 대해 모델을 테스트합니다.
미세 조정된 모델을 평가하기 위해 훈련에서 제외된 일련의 질문과 문장 조각으로 프롬프트를 제공합니다. 이러한 보류된 프롬프트의 두 가지 예는 그림 3에 표시된 질문이며, 전체 목록은 표 2에 나와 있습니다. 이 보류된 프롬프트를 사용하여 모델이 데이터 집합에서 발견한 사실에서 일반화했는지 테스트합니다. NameToDescription 및 DescriptionToName 하위 집합의 각 사실과 보류된 각 프롬프트에 대해 모델을 테스트합니다.