In this report, we propose a general method that uses evolutionary techniques to efficiently discover the best ways to combine different models from the vast ocean of different open-source models with diverse capabilities. By working with the vast collective intelligence of existing open models, our method is able to automatically create new foundation models with desired capabilities specified by the user. We find that our approach is able to automatically discover novel ways to merge different models from vastly different domains (e.g., non-English language and Math, or non-English language and Vision), in non-trivial ways that might be difficult for human experts to discover themselves.
이 보고서에서는 진화 기술을 사용하여 다양한 기능을 갖춘 다양한 오픈 소스 모델의 광활한 바다에서 다른 모델을 결합하는 최적의 방법을 효율적으로 발견하는 일반적인 방법을 제안합니다. 기존 오픈 모델의 방대한 집단 지능과 협력하여 이 방법은 사용자가 지정한 원하는 기능을 갖춘 새로운 foundation models을 자동으로 생성할 수 있습니다. 이 접근 방식은 인간 전문가가 스스로 발견하기 어려운 비 사소한 방식으로 서로 다른 영역(예: 비영어 언어와 수학 또는 비영어 언어와 Vision)의 서로 다른 모델을 병합하는 새로운 방법을 자동으로 발견할 수 있다는 것을 발견했습니다.
이 보고서에서는 진화 기술을 사용하여 다양한 기능을 갖춘 다양한 오픈 소스 모델의 광활한 바다에서 다른 모델을 결합하는 최적의 방법을 효율적으로 발견하는 일반적인 방법을 제안합니다. 기존 오픈 모델의 방대한 집단 지능과 협력하여 이 방법은 사용자가 지정한 원하는 기능을 갖춘 새로운 기반 모델을 자동으로 생성할 수 있습니다. 이 접근 방식은 인간 전문가가 스스로 발견하기 어려운 비 사소한 방식으로 서로 다른 영역(예: 비영어 언어와 수학 또는 비영어 언어와 비전)의 서로 다른 모델을 병합하는 새로운 방법을 자동으로 발견할 수 있다는 것을 발견했습니다.