Knowledge distillation is the process of learning from a larger model [143]. Earlier days of best-performing models release have proven that this approach is very useful even if it is used in an API distillation approach. It is also referred to as an approach to distill the knowledge of not a single model but in fact multiple models into a smaller one. Creating smaller models by this approach yields smaller model sizes that can be used even on edge devices. Knowledge distillation as shown in Fig 35, illustrates a general setup of this training scheme.
지식 증류(Knowledge distillation)는 더 큰 모델로부터 학습하는 과정입니다 [143]. 성능이 가장 우수한 모델들이 출시된 초기에는 이 접근 방식이 API 증류 접근 방식으로 사용되더라도 매우 유용하다는 것이 입증되었습니다. 이는 단일 모델이 아닌 여러 모델의 지식을 더 작은 모델로 증류하는 접근 방식으로도 언급됩니다. 이 접근 방식을 통해 생성된 더 작은 모델들은 엣지 디바이스에서도 사용할 수 있는 작은 모델 크기를 가집니다. Fig 35에 나타난 것처럼, 지식 증류는 이 훈련 체계의 일반적인 설정을 보여줍니다.
지식 증류는 더 큰 모델에서 학습하는 과정입니다[143]. 최고 성능 모델 출시 초창기에는 이 접근 방식이 API 증류 방식으로 사용되더라도 매우 유용하다는 것이 입증되었습니다. 이 접근 방식은 실제로 하나의 모델이 아닌 여러 모델의 지식을 더 작은 모델로 증류하는 접근 방식이라고도 합니다. 이 접근 방식을 통해 더 작은 모델을 만들면 엣지 디바이스에서도 사용할 수 있는 더 작은 모델 크기를 얻을 수 있습니다. 그림 35에 나와 있는 지식 증류는 이 훈련 체계의 일반적인 설정을 보여줍니다.