A simple method of merging multiple models is to average the weights of multiple models fine-tuned from the same base initial model. This _model soup_ approach [48] demonstrated significant improvements on relatively large image processing and image classification models. The work pointed to similarity between weighted model averaging leading to a flat local minima. Theoretical [11; 25; 26; 37] and empirical studies dating back from the 1990s [18; 19] demonstrated that flatter local optima generalize better to out-of-distribution shifts. More recent work [8; 34] examined the theoretical properties and practical implications of weight averaging applied to larger generative models.
여러 모델을 병합하는 간단한 방법은 동일한 기본 초기 모델에서 Fine-tuning된 여러 모델의 가중치를 평균하는 것입니다. 이 _model soup_ 접근 방식 [48]은 상대적으로 큰 이미지 처리 및 이미지 분류 모델에서 상당한 개선 효과를 보여주었습니다. 이 연구는 가중 모델 평균화가 평평한 국부 최소값으로 이어지는 유사성을 지적했습니다. 1990년대부터 시작된 이론적 [11; 25; 26; 37] 및 경험적 연구 [18; 19]는 더 평평한 국부 최적값이 분포 밖의 변화에 더 잘 일반화된다는 것을 입증했습니다. 최근 연구 [8; 34]에서는 더 큰 생성 모델에 적용된 가중치 평균화의 이론적 특성과 실제적 의미를 조사했습니다.
여러 모델을 병합하는 간단한 방법은 동일한 기본 초기 모델에서 미세 조정된 여러 모델의 가중치를 평균하는 것입니다. 이 _모델 수프_ 접근 방식 [48]은 상대적으로 큰 이미지 처리 및 이미지 분류 모델에서 상당한 개선 효과를 보여주었습니다. 이 연구는 가중 모델 평균화가 평평한 국부 최소값으로 이어지는 유사성을 지적했습니다. 1990년대부터 시작된 이론적 [11; 25; 26; 37] 및 경험적 연구 [18; 19]는 더 평평한 국부 최적값이 분포 밖의 변화에 더 잘 일반화된다는 것을 입증했습니다. 최근 연구 [8; 34]에서는 더 큰 생성 모델에 적용된 가중치 평균화의 이론적 특성과 실제적 의미를 조사했습니다.