We first evaluate the models' ability to follow instructions on typical NLP tasks in a zero-shot fashion. We use the evaluation set of SuperNI (Wang et al., 2022), which consists of 119 tasks with 100 instances in each task. In this work, we mainly focus on the zero-shot setup, i.e., the model is prompted with the definition of the tasks only, without in-context demonstration examples. For all our requests to the GPT3 variants, we use the deterministic generation mode (temperature as 0 and no nucleus sampling) without specific stop sequences.
먼저 일반적인 NLP 작업에서 instructions을 따르는 모델의 능력을 zero-shot 방식으로 평가합니다. 각 작업에 100개의 인스턴스가 있는 119개의 작업으로 구성된 SuperNI(Wang et al., 2022)의 평가 세트를 사용합니다. 이 연구에서는 주로 zero-shot 설정, 즉 모델에 in-context demonstration 예제 없이 작업의 정의만 프롬프트로 제공하는 경우에 초점을 맞춥니다. GPT3 변형에 대한 모든 요청에는 특정 중지 시퀀스 없이 결정론적 생성 모드(temperature는 0, nucleus sampling 없음)를 사용합니다.
먼저 일반적인 NLP 작업에서 지침을 따르는 모델의 능력을 제로 샷 방식으로 평가합니다. 각 작업에 100개의 인스턴스가 있는 119개의 작업으로 구성된 SuperNI(Wang et al., 2022)의 평가 세트를 사용합니다. 이 연구에서는 주로 제로 샷 설정, 즉 모델에 문맥상 시연 예제 없이 작업의 정의만 프롬프트로 제공하는 경우에 초점을 맞춥니다. GPT3 변형에 대한 모든 요청에는 특정 중지 시퀀스 없이 결정론적 생성 모드(온도는 0, 핵심 샘플링 없음)를 사용합니다.