Knowledge can be transferred by different forms of learning: response distillation, feature distillation, and API distillation. Response distillation is concerned only with the outputs of the teacher model and tries to teach the student model how to exactly or at least similarly perform (in the sense of prediction) as the teacher. Feature distillation not only uses the last layer but also intermediate layers as well to create a better inner representation for the student model. This helps the smaller model to have a similar representation as the teacher model.
지식은 다양한 형태의 학습을 통해 전달될 수 있습니다: response distillation, feature distillation, API distillation입니다. Response distillation은 교사 모델의 출력에만 관심을 두고 학생 모델이 교사처럼 정확하거나 적어도 유사하게 (예측의 의미에서) 수행하는 방법을 가르치려고 노력합니다. Feature distillation은 마지막 레이어뿐만 아니라 중간 레이어도 사용하여 학생 모델에 더 나은 내부 표현을 생성합니다. 이렇게 하면 작은 모델이 교사 모델과 유사한 표현을 갖는 데 도움이 됩니다.
지식은 다양한 형태의 학습을 통해 전달될 수 있습니다: 응답 증류, 특징 증류, API 증류입니다. 응답 증류는 교사 모델의 출력에만 관심을 두고 학생 모델이 교사처럼 정확하거나 적어도 유사하게 (예측의 의미에서) 수행하는 방법을 가르치려고 노력합니다. 특징 증류는 마지막 레이어뿐만 아니라 중간 레이어도 사용하여 학생 모델에 더 나은 내부 표현을 생성합니다. 이렇게 하면 작은 모델이 교사 모델과 유사한 표현을 갖는 데 도움이 됩니다.