Tail phenomenaSelf-Instruct depends on LMs, and it will inherit all the limitations that carry over with LMs. As recent studies have shown (Razeghi et al., 2022; Kandpal et al., 2022), _tail phenomena_ pose a serious challenge to the success of LMs. In other words, LMs' largest gains correspond to the frequent uses of languages (head of the language use distribution), and there might be minimal gains in the low-frequency contexts. Similarly, in the context of this work, it would not be surprising if the majority of the gains by Self-Instruct are skewed toward tasks or instructions that present more frequently in the pretraining corpus. As a consequence, the approach might show brittleness with respect to uncommon and creative instructions.
Tail phenomenaSelf-Instruct는 LMs에 의존하며, LMs와 함께 발생하는 모든 한계를 그대로 물려받게 됩니다. 최근 연구들(Razeghi et al., 2022; Kandpal et al., 2022)이 보여주듯이, _tail phenomena_는 LMs의 성공에 심각한 도전을 제기합니다. 다시 말해, LMs의 가장 큰 성과는 언어 사용 분포의 상위 부분(자주 사용되는 언어)에 해당하며, 저빈도 맥락에서는 성과가 미미할 수 있습니다. 마찬가지로, 이 연구의 맥락에서도 Self-Instruct의 대부분의 성과가 사전 학습 코퍼스에서 더 자주 나타나는 작업이나 지침에 치우쳐 있을 가능성이 높습니다. 그 결과, 이 접근법은 드문 경우나 창의적인 지침에 대해 취약성을 보일 수 있습니다.
꼬리 현상Self-Instruct는 LM에 의존하며, LM에 따라 이어지는 모든 한계를 상속받게 됩니다. 최근 연구에서 밝혀진 바와 같이(Razeghi et al., 2022; Kandpal et al., 2022), _꼬리 현상_은 LM의 성공에 심각한 도전을 안고 있습니다. 즉, LM의 가장 큰 이점은 언어 사용 빈도가 높은 경우(언어 사용 분포의 머리)에 해당하며, 빈도가 낮은 문맥에서는 이득이 거의 없을 수 있습니다. 마찬가지로, 이 작업의 맥락에서 Self-Instruct의 대부분의 이점이 사전 학습 코퍼스에서 더 자주 등장하는 작업이나 지침에 치우쳐 있다면 놀라운 일이 아닙니다. 결과적으로, 이 접근 방식은 흔하지 않고 창의적인 지침에 대해 취약성을 보일 수 있습니다.