Model merging in the parameter space (PS) aims to integrate the weights of multiple foundational models into a unified entity with the same neural network architecture, yet outperforming the individual models. While various strategies for combining model parameters exist [34; 48], our approach leverages task vectors analysis to understand each model's strengths, based on the specific tasks they are optimized for or excel in [21].
파라미터 공간(PS)에서 모델 병합은 여러 기반 모델의 가중치를 동일한 neural network architecture를 가진 통합 엔티티로 통합하는 것을 목표로 하며, 개별 모델보다 성능이 뛰어납니다. 모델 파라미터를 결합하는 다양한 전략이 존재하지만[34; 48], 우리의 접근 방식은 task vectors 분석을 활용하여 각 모델이 최적화되거나 탁월한 특정 작업을 기반으로 각 모델의 강점을 이해합니다[21].
파라미터 공간(PS)에서 모델 병합은 여러 기반 모델의 가중치를 동일한 신경망 아키텍처를 가진 통합 엔티티로 통합하는 것을 목표로 하며, 개별 모델보다 성능이 뛰어납니다. 모델 파라미터를 결합하는 다양한 전략이 존재하지만[34; 48], 우리의 접근 방식은 작업 벡터 분석을 활용하여 각 모델이 최적화되거나 탁월한 특정 작업을 기반으로 각 모델의 강점을 이해합니다[21].