Knowledge distillation.Knowledge distillation Hinton et al. (2015); Sanh et al. (2019); West et al. (2021); Magister et al. (2022) often involves the transfer of knowledge from larger models to smaller ones. Self-Instruct can also be viewed as a form of "knowledge distillation", however, it differs from this line in the following ways: (1) the source and target of distillation are the same, i.e., a model's knowledge is distilled to itself; (2) the content of distillation is in the form of an instruction task (i.e., instructions that define a task, and a set of examples that instantiate it).
지식 증류. Knowledge distillation Hinton et al. (2015); Sanh et al. (2019); West et al. (2021); Magister et al. (2022)는 종종 더 큰 모델에서 더 작은 모델로 지식을 전달하는 경우가 많습니다. Self-Instruct도 일종의 'knowledge distillation'로 볼 수 있지만, 다음과 같은 점에서 이 라인과는 다릅니다: (1) 증류의 출처와 대상이 동일하다는 점, 즉 모델의 지식이 자체적으로 증류된다는 점, (2) 증류의 내용이 instruction 작업의 형태(즉, 작업을 정의하는 instruction과 이를 구현하는 일련의 예제)라는 점입니다.
지식 증류.지식 증류 힌튼 외(2015); Sanh 외(2019); West 외(2021); Magister 외(2022)는 종종 더 큰 모델에서 더 작은 모델로 지식을 전달하는 경우가 많습니다. 셀프 인스트럭트도 일종의 '지식 증류'로 볼 수 있지만, 다음과 같은 점에서 이 라인과는 다릅니다: (1) 증류의 출처와 대상이 동일하다는 점, 즉 모델의 지식이 자체적으로 증류된다는 점, (2) 증류의 내용이 지침 작업의 형태(즉, 작업을 정의하는 지침과 이를 구현하는 일련의 예제)라는 점입니다.