A prompt template for IDM is equivalent to IST but with the inclusion of a few task demonstrations. The number of demonstrations ranges from 1 to 4. We use the same demonstrations included in the human annotation instruction (SS11.1). Lastly, we evaluate IST in combination with SC decoding, which involves sampling the prediction multiple times (n = 10) and taking the mode as a final prediction. To ensure that the rationale evaluation of FLAN-T5 XXL aligns closely with human annotation, we compute the macro F1 scores for 5 prompt-based experiments using 100 human-labeled examples (Table 4). In most cases except for fluency, IST prompting demonstrates the highest performance.
IDM용 prompt template은 IST와 동일하지만 몇 가지 작업 데모가 포함되어 있습니다. 데모의 수는 1~4개입니다. 인간 주석 instruction(SS11.1)에 포함된 것과 동일한 데모를 사용합니다. 마지막으로, 예측을 여러 번(n = 10) 샘플링하고 모드를 최종 예측으로 사용하는 SC decoding과 함께 IST를 평가합니다. FLAN-T5 XXL의 근거 평가가 인간 주석과 밀접하게 일치하도록 100개의 인간 라벨링된 예제를 사용하여 5가지 prompt 기반 실험에 대한 매크로 F1 점수를 계산합니다(표 4). 유창성을 제외한 대부분의 경우에서 IST prompting이 가장 높은 성능을 보여줍니다.
IDM용 프롬프트 템플릿은 IST와 동일하지만 몇 가지 작업 데모가 포함되어 있습니다. 데모의 수는 1~4개입니다. 인간 주석 지시어(SS11.1)에 포함된 것과 동일한 데모를 사용합니다. 마지막으로, 예측을 여러 번(n = 10) 샘플링하고 모드를 최종 예측으로 사용하는 SC 디코딩과 함께 IST를 평가합니다. FLAN-T5 XXL의 근거 평가가 인간 주석과 밀접하게 일치하도록 100개의 인간 라벨링된 예제를 사용하여 5가지 프롬프트 기반 실험에 대한 매크로 F1 점수를 계산합니다(표 4). 유창성을 제외한 대부분의 경우에서 IST 프롬프트가 가장 높은 성능을 보여줍니다.