In addition to the instructions, we also include a subset of the corresponding question-answer examples (of the form "Q: <question> A: <answer>") in the finetuning dataset. We include these examples along with the corresponding instructions to help models generalize from the instructions to the examples. 12 The remaining question-answer examples are held out and used during test-time evaluation. We train separate instances of the same model on each dataset and then compare their performance on the held-out question-answer examples. To test models, we prompt them with "Q: <question> A:" using temperature zero.
또한 Fine-tuning 데이터 세트에는 해당 질문-답변 예제의 하위 집합("Q: <question> A: <answer>")도 포함되어 있습니다. 이러한 예제는 모델이 Instruction에서 예제로 일반화할 수 있도록 해당 Instruction과 함께 포함됩니다. 나머지 질문-답변 예제는 테스트 시간 평가 중에 보류됩니다. 각 데이터 세트에 대해 동일한 모델의 별도 인스턴스를 학습시킨 다음 보류된 질문-답변 예제에 대한 성능을 비교합니다. 모델을 테스트하기 위해 온도 0을 사용하여 "Q: <question> A:"로 프롬프트합니다.
또한 미세 조정 데이터 세트에는 해당 질문-답변 예제의 하위 집합("Q: <질문> A: <답변>")도 포함되어 있습니다. 이러한 예제는 모델이 지침에서 예제로 일반화할 수 있도록 해당 지침과 함께 포함됩니다. 12 나머지 질문-답변 예제는 테스트 시간 평가 중에 보류됩니다. 각 데이터 세트에 대해 동일한 모델의 별도 인스턴스를 학습시킨 다음 보류된 질문-답변 예제에 대한 성능을 비교합니다. 모델을 테스트하기 위해 온도 0을 사용하여 "Q: <질문> A:"로 프롬프트합니다.