More generally, we should expect many research efforts in this area of how to train smaller and more efficient models. Techniques such as parameter-efficient fine-tuning (PEFT), teacher/student, and other forms of distillation - see section III-I - will continue to be used to build a smaller model out of larger ones.
더 일반적으로, 우리는 더 작고 효율적인 모델을 훈련하는 방법이라는 이 영역에서 많은 연구 노력이 필요할 것으로 예상해야 합니다. 파라미터 효율적 Fine-tuning (PEFT), 교사/학생 및 기타 형태의 distillation과 같은 기술 - 섹션 III-I 참조 -은 계속해서 더 큰 모델에서 더 작은 모델을 구축하는 데 사용될 것입니다.
더 일반적으로, 우리는 더 작고 효율적인 모델을 훈련하는 방법이라는 이 영역에서 많은 연구 노력이 필요할 것으로 예상해야 합니다. 파라미터 효율적 미세 조정(PEFT), 교사/학생 및 기타 형태의 증류와 같은 기술 - 섹션 III-I 참조 -은 계속해서 더 큰 모델에서 더 작은 모델을 구축하는 데 사용될 것입니다.