1. **Automated Model Composition**: We introduce **Evolutionary Model Merge**, a general evolutionary method to automatically discover optimal combinations of diverse open-source models for creating new foundation models with user-specified capabilities. This approach harnesses the collective intelligence of existing open models, enabling the creation of powerful models without the need for extensive training data or compute. 2. **Cross-Domain Merging**: We demonstrate that our method can discover novel ways to merge models from disparate domains (e.g., non-English language and Math, non-English language and Vision), potentially exceeding the capabilities achievable through conventional human design strategies. 3. **State-of-the-Art Performance**: We showcase the effectiveness of our method by automatically generating a Japanese LLM with Math reasoning capability and a Japanese Vision-Language Model (VLM). Notably, both models achieve state-of-the-art performance on various benchmarks, even without explicit optimization for those tasks. 4. **High Efficiency and Surprising Generalizability**: We observe that our 7B parameter LLM surpasses the performance of some previous 70B parameter Japanese LLMs on benchmark datasets, highlighting the high efficiency and surprising generalization capability of our approach. We believe this model can serve as a strong general-purpose Japanese LLM. 5. **Culturally-Aware VLM**: The generated Japanese VLM achieves top results when tested on a domestically-sourced dataset of Japanese image-description pairs, demonstrating its ability to handle Japanese culture-specific content.
1. **자동화된 모델 구성**: 사용자가 지정한 기능을 가진 새로운 기반 모델을 만들기 위해 다양한 오픈 소스 모델의 최적 조합을 자동으로 검색하는 일반적인 진화 방법인 **Evolutionary Model Merge**를 소개합니다. 이 접근 방식은 기존 오픈 모델의 집단 지능을 활용하여 방대한 학습 데이터나 컴퓨팅 없이도 강력한 모델을 만들 수 있게 해줍니다. 2. **크로스 도메인 병합**: 이 방법을 통해 기존의 인간 설계 전략을 통해 달성할 수 있는 능력을 뛰어넘는 새로운 방식으로 서로 다른 도메인(예: 비영어 언어와 수학, 비영어 언어와 Vision)의 모델을 병합할 수 있음을 입증했습니다. 3. **최첨단 성능**: 수학 추론 기능을 갖춘 일본어 LLM과 일본어 Vision-Language Model (VLM)을 자동으로 생성하여 이 방법의 효과를 보여줍니다. 특히 두 모델 모두 해당 작업에 대한 명시적인 최적화 없이도 다양한 벤치마크에서 최첨단 성능을 달성했습니다. 4. **높은 효율성과 놀라운 일반화 가능성**: 70억 개의 파라미터를 가진 LLM이 벤치마크 데이터 세트에서 이전 700억 개의 파라미터를 가진 일부 일본어 LLM의 성능을 능가하는 것을 관찰하여 높은 효율성과 놀라운 일반화 기능을 보여주었습니다. 이 모델은 강력한 범용 일본어 LLM으로 사용될 수 있다고 생각합니다. 5. **문화 인식 VLM**: 생성된 일본어 VLM은 국내에서 조사한 일본어 이미지 설명 쌍 데이터 세트에서 테스트했을 때 최고의 결과를 달성하여 일본 문화 관련 콘텐츠를 처리할 수 있는 능력을 입증했습니다.
1. **자동화된 모델 구성**: 사용자가 지정한 기능을 가진 새로운 기반 모델을 만들기 위해 다양한 오픈 소스 모델의 최적 조합을 자동으로 검색하는 일반적인 진화 방법인 **진화형 모델 병합**을 소개합니다. 이 접근 방식은 기존 오픈 모델의 집단 지능을 활용하여 방대한 학습 데이터나 컴퓨팅 없이도 강력한 모델을 만들 수 있게 해줍니다. 2. **크로스 도메인 병합**: 이 방법을 통해 기존의 인간 설계 전략을 통해 달성할 수 있는 능력을 뛰어넘는 새로운 방식으로 서로 다른 도메인(예: 비영어 언어와 수학, 비영어 언어와 비전)의 모델을 병합할 수 있음을 입증했습니다. 3. **최첨단 성능**: 수학 추론 기능을 갖춘 일본어 LLM과 일본어 비전-언어 모델(VLM)을 자동으로 생성하여 이 방법의 효과를 보여줍니다. 특히 두 모델 모두 해당 작업에 대한 명시적인 최적화 없이도 다양한 벤치마크에서 최첨단 성능을 달성했습니다. 4. **높은 효율성과 놀라운 일반화 가능성**: 70억 개의 파라미터를 가진 LLM이 벤치마크 데이터 세트에서 이전 700억 개의 파라미터를 가진 일부 일본어 LLM의 성능을 능가하는 것을 관찰하여 높은 효율성과 놀라운 일반화 기능을 보여주었습니다. 이 모델은 강력한 범용 일본어 LLM으로 사용될 수 있다고 생각합니다. 5. **문화 인식 VLM**: 생성된 일본어 VLM은 국내에서 조사한 일본어 이미지 설명 쌍 데이터 세트에서 테스트했을 때 최고의 결과를 달성하여 일본 문화 관련 콘텐츠를 처리할 수 있는 능력을 입증했습니다.