Figure 2: A high-level overview of Self-Instruct. The process starts with a small seed set of tasks as the task pool. Random tasks are sampled from the task pool, and used to prompt an off-the-shelf LM to generate both new instructions and corresponding instances, followed by filtering low-quality or similar generations, and then added back to the initial repository of tasks. The resulting data can be used for the instruction tuning of the language model itself later to follow instructions better. Tasks shown in the figure are generated by GPT3.
그림 2: Self-Instruct의 개괄적인 개요. 프로세스는 작업 풀로 작은 시드 작업 세트로 시작됩니다. 작업 풀에서 무작위 작업을 샘플링하여 기성 LM에 프롬프트하여 새로운 instructions와 해당 인스턴스를 생성한 다음, 품질이 낮거나 유사한 생성물을 필터링한 다음, 다시 초기 작업 리포지토리에 추가합니다. 결과 데이터는 나중에 언어 모델 자체의 Instruction Tuning에 사용되어 instructions를 더 잘 따를 수 있습니다. 그림에 표시된 작업은 GPT-3에 의해 생성되었습니다.
그림 2: Self-Instruct의 개괄적인 개요. 프로세스는 작업 풀로 작은 시드 작업 세트로 시작됩니다. 작업 풀에서 무작위 작업을 샘플링하여 기성 엘엠에 프롬프트하여 새로운 지침과 해당 인스턴스를 생성한 다음, 품질이 낮거나 유사한 생성물을 필터링한 다음, 다시 초기 작업 리포지토리에 추가합니다. 결과 데이터는 나중에 언어 모델 자체의 지침 튜닝에 사용되어 지침을 더 잘 따를 수 있습니다. 그림에 표시된 작업은 GPT3에 의해 생성되었습니다.