Bootstrapping with limited resources.A series of recent works use language models to bootstrap some inferences using specialized methods. NPPPrompt Zhao et al. (2022) provides a method to generate predictions for semantic labels without any finetuning. It uses a model's own embeddings to automatically find words relevant to the label of the data sample and hence reduces the dependency on manual mapping from model prediction to label (verbalizers). STAR Zelikman et al. (2022) iteratively leverages a small number of rationale examples and a large dataset without rationales, to bootstrap a model's ability to perform reasoning. Self-Correction Welleck et al. (2023) decouples an imperfect base generator (model) from a separate corrector that learns to iteratively correct imperfect generations and demonstrates improvement over the base generator. Our work instead focuses on bootstrapping new tasks in the instruction paradigm.
제한된 리소스를 사용한 bootstrapping. 최근 일련의 연구에서는 언어 모델을 사용하여 특수한 방법을 사용하여 일부 추론을 bootstrapping하는 방법을 사용합니다. NPPPrompt Zhao 등(2022)은 Fine-tuning 없이 시맨틱 레이블에 대한 예측을 생성하는 방법을 제공합니다. 이 방법은 모델 자체의 임베딩을 사용하여 데이터 샘플의 레이블과 관련된 단어를 자동으로 찾아 모델 예측과 레이블(verbalizers) 간의 수동 매핑에 대한 의존도를 줄여줍니다. STAR Zelikman 등(2022)은 소수의 근거 예제와 근거가 없는 대규모 데이터 세트를 반복적으로 활용하여 추론을 수행하는 모델의 능력을 bootstrapping합니다. Self-Correction Welleck 등(2023)은 불완전한 기본 생성기(모델)와 불완전한 생성을 반복적으로 수정하는 방법을 학습하는 별도의 수정자를 분리하여 기본 생성기보다 개선된 성능을 입증합니다. 이 연구는 대신 Instruction 패러다임에서 새로운 작업을 bootstrapping하는 데 중점을 둡니다.
제한된 리소스를 사용한 부트스트랩핑.최근 일련의 연구에서는 언어 모델을 사용하여 특수한 방법을 사용하여 일부 추론을 부트스트랩하는 방법을 사용합니다. NPPPrompt Zhao 등(2022)은 미세 조정 없이 시맨틱 레이블에 대한 예측을 생성하는 방법을 제공합니다. 이 방법은 모델 자체의 임베딩을 사용하여 데이터 샘플의 레이블과 관련된 단어를 자동으로 찾아 모델 예측과 레이블(언어화) 간의 수동 매핑에 대한 의존도를 줄여줍니다. STAR Zelikman 등(2022)은 소수의 근거 예제와 근거가 없는 대규모 데이터 세트를 반복적으로 활용하여 추론을 수행하는 모델의 능력을 부트스트랩합니다. 자체 수정 Welleck 등(2023)은 불완전한 기본 생성기(모델)와 불완전한 생성을 반복적으로 수정하는 방법을 학습하는 별도의 수정자를 분리하여 기본 생성기보다 개선된 성능을 입증합니다. 이 연구는 대신 명령 패러다임에서 새로운 작업을 부트스트랩하는 데 중점을 둡니다.