Model self-training.A typical self-training framework He et al. (2019); Xie et al. (2020); Du et al. (2021); Amini et al. (2022); Huang et al. (2022) uses trained models to assign labels to unlabeled data and then leverages the newly labeled data to improve the model. In a similar line, Zhou et al. (2022) use multiple prompts to specify a single task and propose to regularize via prompt consistency, encouraging consistent predictions over the prompts. This allows either finetuning the model with extra unlabeled training data, or direct application at inference time. While Self-Instruct has similarities with the self-training literature, most self-training methods assume a specific _target task_ as well as _unlabeled examples_ under it; in contrast, Self-Instruct produces a variety of tasks from scratch.
모델 자체 학습. He 등(2019); Xie 등(2020); Du 등(2021); Amini 등(2022); Huang 등(2022)의 일반적인 자체 학습 프레임워크는 학습된 모델을 사용하여 라벨이 없는 데이터에 레이블을 부여한 다음 새로 레이블이 지정된 데이터를 활용하여 모델을 개선합니다. 이와 유사하게, Zhou et al. (2022)은 여러 프롬프트를 사용하여 단일 작업을 지정하고 프롬프트에 걸쳐 일관된 예측을 장려하는 프롬프트 일관성을 통해 정규화할 것을 제안합니다. 이를 통해 라벨이 없는 추가 학습 데이터로 모델을 Fine-tuning하거나 추론 시간에 직접 적용할 수 있습니다. Self-Instruct는 self-training 문헌과 유사점이 있지만, 대부분의 self-training 방법은 특정 _대상 작업_과 그 아래의 _라벨이 없는 예제_를 가정하는 반면, Self-Instruct는 처음부터 다양한 작업을 생성합니다.
모델 자체 학습.He 등(2019); Xie 등(2020); Du 등(2021); Amini 등(2022); Huang 등(2022)의 일반적인 자체 학습 프레임워크는 학습된 모델을 사용하여 레이블을 지정합니다. 라벨이 없는 데이터에 레이블을 부여한 다음 새로 레이블이 지정된 데이터를 활용하여 모델을 개선합니다. 이와 유사하게, Zhou et al. (2022)은 여러 프롬프트를 사용하여 단일 작업을 지정하고 프롬프트에 걸쳐 일관된 예측을 장려하는 프롬프트 일관성을 통해 정규화할 것을 제안합니다. 이를 통해 라벨이 없는 추가 학습 데이터로 모델을 미세 조정하거나 추론 시간에 직접 적용할 수 있습니다. 셀프인스트럭트는 셀프트레이닝 문헌과 유사점이 있지만, 대부분의 셀프트레이닝 방법은 특정 _대상 작업_과 그 아래의 _라벨이 없는 예제_를 가정하는 반면, 셀프인스트럭트는 처음부터 다양한 작업을 생성합니다.