To provide a sense of how much the model is generalizing beyond these seed tasks, we further quantify the overlap between the instructions of these seed tasks and the instructions of our test sets, including both SuperNI task instructions (SS4.3) and the user-oriented instructions in our human evaluation(SS4.4). We compute ROUGE-L similarities between each seed instruction and its most similar instruction in the test set. The distribution of the ROUGE-L scores are plotted in Figure 8, with the average ROUGE-L similarity between the seed instructions and SuperNI as 0.21, and the average ROUGE-L similarity between the seed instructions and user-oriented instructions as 0.34. We see a decent difference between the seed tasks and both test sets. There is exactly one identical seed instruction occurring in the user-oriented instruction test set, which is "answer the following question" and the following questions are actually very different.
이 모델이 이러한 시드 작업을 넘어 얼마나 일반화하고 있는지에 대한 감각을 제공하기 위해, SuperNI task instructions (SS4.3)과 인간 평가의 user-oriented instructions (SS4.4)을 모두 포함하여 이러한 시드 작업의 instructions과 테스트 세트의 instructions 간의 중복을 추가로 정량화합니다. 각 시드 instruction과 테스트 세트에서 가장 유사한 instruction 간의 ROUGE-L 유사도를 계산합니다. 그림 8에 ROUGE-L 점수의 분포를 그래프로 표시하고, 시드 instructions과 SuperNI 간의 평균 ROUGE-L 유사도는 0.21, 시드 instructions과 user-oriented instructions 간의 평균 ROUGE-L 유사도는 0.34입니다. 시드 작업과 두 테스트 세트 사이에 상당한 차이가 있음을 알 수 있습니다. user-oriented instruction 테스트 세트에는 "다음 질문에 답하세요"라는 정확히 동일한 시드 instruction이 하나 존재하며, 다음 질문은 실제로 매우 다릅니다.
이 모델이 이러한 시드 작업을 넘어 얼마나 일반화하고 있는지에 대한 감각을 제공하기 위해, SuperNI 작업 지침(SS4.3)과 인간 평가의 사용자 지향적 지침(SS4.4)을 모두 포함하여 이러한 시드 작업의 지침과 테스트 세트의 지침 간의 중복을 추가로 정량화합니다. 각 시드 지침과 테스트 세트에서 가장 유사한 지침 간의 ROUGE-L 유사도를 계산합니다. 그림 8에 ROUGE-L 점수의 분포를 그래프로 표시하고, 시드 지침과 SuperNI 간의 평균 ROUGE-L 유사도는 0.21, 시드 지침과 사용자 지향 지침 간의 평균 ROUGE-L 유사도는 0.34입니다. 시드 작업과 두 테스트 세트 사이에 상당한 차이가 있음을 알 수 있습니다. 사용자 지향 지침 테스트 세트에는 "다음 질문에 답하세요"라는 정확히 동일한 시드 지침이 하나 존재하며, 다음 질문은 실제로 매우 다릅니다.