Our goal is to create a unified framework capable of automatically generating a merged model from a selection of foundation models, ensuring that the performance of this merged model surpasses that of any individual in the collection. Central to our approach is the application of evolutionary algorithms, which we employ to refine the intricacies involved in model merging. To systematically address this challenge, we first dissect the merging process into two distinct, orthogonal configuration spaces, analyzing their individual impacts. Building on this analysis, we then introduce a cohesive framework that seamlessly integrates these spaces. Figure 1 provides a schematic representation of our approach.
우리의 목표는 여러 foundation models 중에서 선택한 모델을 자동으로 병합된 모델을 생성할 수 있는 통합 프레임워크를 만들어 이 병합된 모델의 성능이 컬렉션의 개별 모델보다 뛰어나도록 하는 것입니다. 우리 접근 방식의 핵심은 evolutionary algorithms을 적용하여 모델 병합과 관련된 복잡한 작업을 개선하는 것입니다. 이 문제를 체계적으로 해결하기 위해 먼저 병합 프로세스를 두 개의 개별 구성 공간으로 분해하여 개별적인 영향을 분석합니다. 이 분석을 바탕으로 이러한 공간을 원활하게 통합하는 일관된 프레임워크를 도입합니다. 그림 1은 우리 접근 방식을 도식화한 것입니다.
우리의 목표는 여러 기반 모델 중에서 선택한 모델을 자동으로 병합된 모델을 생성할 수 있는 통합 프레임워크를 만들어 이 병합된 모델의 성능이 컬렉션의 개별 모델보다 뛰어나도록 하는 것입니다. 우리 접근 방식의 핵심은 진화 알고리즘을 적용하여 모델 병합과 관련된 복잡한 작업을 개선하는 것입니다. 이 문제를 체계적으로 해결하기 위해 먼저 병합 프로세스를 두 개의 개별 구성 공간으로 분해하여 개별적인 영향을 분석합니다. 이 분석을 바탕으로 이러한 공간을 원활하게 통합하는 일관된 프레임워크를 도입합니다. 그림 1은 우리 접근 방식을 도식화한 것입니다.