We believe evolutionary algorithms will be able to discover more effective model merging solutions, and thus provide a path for automating the creation of more capable models. As a step towards this direction, in this work, we show that evolution can be employed to discover novel and unintuitive ways to merge various models to produce new models with a new combined ability. In this work, we present a methodology that leverages evolutionary algorithms to facilitate the merging of foundation models. Our approach is distinguished by its ability to navigate both parameter space (weights) and the data flow space (inference path), proposing a framework that integrates these two dimensions.
우리는 진화 알고리즘이 더 효과적인 모델 병합 솔루션을 발견할 수 있을 것이며, 따라서 더 유능한 모델을 자동화하는 경로를 제공할 수 있다고 믿습니다. 이러한 방향을 향한 한 걸음으로, 이 연구에서는 진화를 사용하여 다양한 모델을 병합하여 새로운 결합 능력을 가진 새로운 모델을 생성하는 새롭고 직관적이지 않은 방법을 발견할 수 있음을 보여 줍니다. 이 연구에서는 진화 알고리즘을 활용하여 foundation models의 병합을 용이하게 하는 방법론을 제시합니다. 우리의 접근 방식은 매개변수 공간(가중치)과 데이터 흐름 공간(추론 경로)을 모두 탐색할 수 있는 능력이 돋보이며, 이 두 가지 차원을 통합하는 프레임워크를 제안합니다.
우리는 진화 알고리즘이 더 효과적인 모델 병합 솔루션을 발견할 수 있을 것이며, 따라서 더 유능한 모델을 자동화하는 경로를 제공할 수 있다고 믿습니다. 이러한 방향을 향한 한 걸음으로, 이 연구에서는 진화를 사용하여 다양한 모델을 병합하여 새로운 결합 능력을 가진 새로운 모델을 생성하는 새롭고 직관적이지 않은 방법을 발견할 수 있음을 보여 줍니다. 이 연구에서는 진화 알고리즘을 활용하여 기반 모델의 병합을 용이하게 하는 방법론을 제시합니다. 우리의 접근 방식은 매개변수 공간(가중치)과 데이터 흐름 공간(추론 경로)을 모두 탐색할 수 있는 능력이 돋보이며, 이 두 가지 차원을 통합하는 프레임워크를 제안합니다.