For example, in some of the tasks, performance is evaluated by the first word the model predicts, and this word is expected to be a _Yes/No_. This means that if the response is a bit verbose it will be counted as incorrect, even if a human would classify it as a correct answer. To remedy this shortcoming, we refine the prompts by 1) removing distracting few-shot examples and 2) concluding with a specific instruction for the model to generate tags (see Table 3).
예를 들어, 일부 작업에서는 모델이 예측하는 첫 번째 단어에 따라 성능을 평가하며, 이 단어는 _Yes/No_가 될 것으로 예상됩니다. 즉, 응답이 다소 장황한 경우 사람이 정답으로 분류하더라도 오답으로 간주됩니다. 이러한 단점을 해결하기 위해 1) 산만한 few-shot 예제를 제거하고 2) 모델이 태그를 생성하도록 구체적인 instruction으로 프롬프트를 수정합니다(표 3 참조).
예를 들어, 일부 작업에서는 모델이 예측하는 첫 번째 단어에 따라 성능을 평가하며, 이 단어는 _예/아니요_가 될 것으로 예상됩니다. 즉, 응답이 다소 장황한 경우 사람이 정답으로 분류하더라도 오답으로 간주됩니다. 이러한 단점을 해결하기 위해 1) 산만한 쇼트 샷 예제를 제거하고 2) 모델이 태그를 생성하도록 구체적인 지침으로 프롬프트를 수정합니다(표 3 참조).