We present a novel application of evolutionary algorithms to automate the creation of powerful foundation models. While model merging has emerged as a promising approach for LLM development due to its cost-effectiveness, it currently relies on human intuition and domain knowledge, limiting its potential. Here, we propose an evolutionary approach that overcomes this limitation by automatically discovering effective combinations of diverse open-source models, harnessing their collective intelligence without requiring extensive additional training data or compute. Our approach operates in both parameter space and data flow space, allowing for optimization beyond just the weights of the individual models. This approach even facilitates cross-domain merging, generating models like a Japanese LLM with Math reasoning capabilities. Surprisingly, our Japanese Math LLM achieved state-of-the-art performance on a variety of established Japanese LLM benchmarks, even surpassing models with significantly more parameters, despite not being explicitly trained for such tasks.
강력한 foundation 모델을 자동화하기 위해 진화 알고리즘의 새로운 응용 프로그램을 소개합니다. 모델 병합은 비용 효율성 때문에 LLM 개발을 위한 유망한 접근 방식으로 부상했지만, 현재는 인간의 직관과 도메인 지식에 의존하기 때문에 잠재력이 제한되어 있습니다. 여기서는 광범위한 추가 학습 데이터나 컴퓨팅 없이도 이러한 한계를 극복하고 다양한 오픈 소스 모델의 효과적인 조합을 자동으로 발견하여 이들의 집단 지능을 활용하는 진화적 접근 방식을 제안합니다. 이 접근 방식은 parameter 공간과 data flow 공간 모두에서 작동하므로 개별 모델의 가중치 이상으로 최적화할 수 있습니다. 이 접근 방식은 교차 도메인 병합을 용이하게 하여 수학적 추론 기능을 갖춘 일본어 LLM과 같은 모델을 생성합니다. 놀랍게도 일본어 수학 LLM은 이러한 작업을 위해 명시적으로 학습되지 않았음에도 불구하고 기존의 다양한 일본어 LLM 벤치마크에서 매우 많은 파라미터를 가진 모델을 능가하는 최첨단 성능을 달성했습니다.
강력한 기반 모델을 자동화하기 위해 진화 알고리즘의 새로운 응용 프로그램을 소개합니다. 모델 병합은 비용 효율성 때문에 LLM 개발을 위한 유망한 접근 방식으로 부상했지만, 현재는 인간의 직관과 도메인 지식에 의존하기 때문에 잠재력이 제한되어 있습니다. 여기서는 광범위한 추가 학습 데이터나 컴퓨팅 없이도 이러한 한계를 극복하고 다양한 오픈 소스 모델의 효과적인 조합을 자동으로 발견하여 이들의 집단 지능을 활용하는 진화적 접근 방식을 제안합니다. 이 접근 방식은 파라미터 공간과 데이터 흐름 공간 모두에서 작동하므로 개별 모델의 가중치 이상으로 최적화할 수 있습니다. 이 접근 방식은 교차 도메인 병합을 용이하게 하여 수학적 추론 기능을 갖춘 일본어 LLM과 같은 모델을 생성합니다. 놀랍게도 일본어 수학 LLM은 이러한 작업을 위해 명시적으로 학습되지 않았음에도 불구하고 기존의 다양한 일본어 LLM 벤치마크에서 매우 많은 파라미터를 가진 모델을 능가하는 최첨단 성능을 달성했습니다.