**Instruction Tuning Perplexity**. The evaluation mentioned above metrics presents an inherent trade-off. Though accuracy on downstream tasks is typically viewed as a more concrete representation of a language model's real-world value, its variance tends to be higher due to the limited number of examples in these tasks and the step-wise behavior of accuracy as a metric. In contrast, perplexity, as a metric, is smoother while still exhibiting a strong correlation with performance [43]. Therefore as a middle ground between the two evaluation metrics, we propose evaluating the perplexity on a sample drawn from the instruction-tuning dataset used for fine-tuning OPT-IML [21]. This dataset spans over 1500 unique NLP tasks and comprises a wide array of prompt-answer pairs and therefore is representative of the _average_ NLP task. It has been carefully crafted by merging extensive task collections such as Super-NaturalInstructions [53] and PromptSource [3]. We refer the reader to Table 2.1 in [21] for a comprehensive breakdown. This approach allows us to balance practical performance measures and statistical consistency in evaluation. We note that this metric can simply be considered as perplexity on another validation set, where the validation set is filled with examples used for instruction-tuning (we are **not** fine-tuning on this dataset).
**Instruction Tuning Perplexity**. 위에서 언급한 평가는 본질적인 장단점을 가지고 있습니다. 다운스트림 작업의 정확도는 일반적으로 언어 모델의 실제 가치를 보다 구체적으로 나타내는 것으로 간주되지만, 이러한 작업의 제한된 예제 수와 메트릭으로서 정확도의 단계적 동작으로 인해 그 편차가 더 높은 경향이 있습니다. 반면, perplexity는 메트릭으로서 더 부드러운 동시에 성능과 강한 상관관계를 보입니다[43]. 따라서 두 가지 평가 지표의 중간 지점으로서, 우리는 OPT-IML [21]을 Fine-tuning하는 데 사용된 Instruction Tuning 데이터 세트에서 추출한 샘플에 대한 perplexity를 평가할 것을 제안합니다. 이 데이터 세트는 1500개 이상의 고유한 NLP 작업에 걸쳐 있으며 다양한 프롬프트-답변 쌍으로 구성되어 있으므로 _평균_ NLP 작업을 대표합니다. 이 데이터 세트는 Super-NaturalInstructions [53] 및 PromptSource [3]과 같은 광범위한 작업 컬렉션을 병합하여 신중하게 제작되었습니다. 자세한 내용은 [21]의 표 2.1을 참조하세요. 이 접근 방식을 통해 실용적인 성능 측정과 평가의 통계적 일관성을 균형 있게 유지할 수 있습니다. 이 메트릭은 단순히 다른 유효성 검사 집합에 대한 perplexity로 간주할 수 있으며, 여기서 유효성 검사 집합은 Instruction Tuning에 사용된 예제로 채워집니다(이 데이터 세트에 대해 **Fine-tuning**하지는 않습니다).
**지침 튜닝 당혹감**. 위에서 언급한 평가는 본질적인 장단점을 가지고 있습니다. 다운스트림 작업의 정확도는 일반적으로 언어 모델의 실제 가치를 보다 구체적으로 나타내는 것으로 간주되지만, 이러한 작업의 제한된 예제 수와 메트릭으로서 정확도의 단계적 동작으로 인해 그 편차가 더 높은 경향이 있습니다. 반면, 복잡도는 메트릭으로서 더 부드러운 동시에 성능과 강한 상관관계를 보입니다[43]. 따라서 두 가지 평가 지표의 중간 지점으로서, 우리는 OPT-IML [21]을 미세 조정하는 데 사용된 명령어 조정 데이터 세트에서 추출한 샘플에 대한 당혹감을 평가할 것을 제안합니다. 이 데이터 세트는 1500개 이상의 고유한 NLP 작업에 걸쳐 있으며 다양한 프롬프트-답변 쌍으로 구성되어 있으므로 _평균_ NLP 작업을 대표합니다. 이 데이터 세트는 Super-NaturalInstructions [53] 및 PromptSource [3]과 같은 광범위한 작업 컬렉션을 병합하여 신중하게 제작되었습니다. 자세한 내용은 [21]의 표 2.1을 참조하세요. 이 접근 방식을 통해 실용적인 성능 측정과 평가의 통계적 일관성을 균형 있게 유지할 수 있습니다. 이 메트릭은 단순히 다른 유효성 검사 집합에 대한 당혹감으로 간주할 수 있으며, 여기서 유효성 검사 집합은 명령어 튜닝에 사용된 예제로 채워집니다(이 데이터 세트에 대해 **미세 조정**하지는 않습니다).