Figure 1: **Overview of Evolutionary Model Merge**. Our approach encompasses (1) evolving the weights for mixing parameters at each layer in the parameter space (PS); (2) evolving layer permutations in the data flow space (DFS); and (3) an integrated strategy that combines both methods for merging in both PS and DFS. Notice that merging in the PS is not simple copying and stitching of the layers parameters, but also mixes the weights. This merging is akin to blending colors as illustrated here (e.g., red and blue becomes purple). Note that we translated the questions to English for the reader; the models operate on Japanese text.
그림 1: **진화적 모델 병합 개요**. 우리의 접근 방식은 (1) 매개변수 공간(PS)에서 각 층의 혼합 매개변수에 대한 가중치를 진화시키는 것; (2) 데이터 흐름 공간(DFS)에서 층 순열을 진화시키는 것; (3) PS와 DFS 모두에서 병합을 위한 두 가지 방법을 통합하는 전략을 포함합니다. PS에서의 병합은 단순히 층 매개변수를 복사하고 연결하는 것이 아니라, 가중치를 혼합하는 것을 의미합니다. 이는 여기서 설명된 것처럼 색상을 혼합하는 것과 유사합니다(예: 빨간색과 파란색이 보라색이 되는 것). 독자를 위해 질문을 영어로 번역했음을 유의하십시오; 모델은 일본어 텍스트를 처리합니다.
그림 1: **진화 모델 병합 개요**. 우리의 접근 방식은 (1) 파라미터 공간(PS)에서 각 레이어의 믹싱 파라미터에 대한 가중치를 진화시키는 것, (2) 데이터 흐름 공간(DFS)에서 레이어 순열을 진화시키는 것, (3) PS와 DFS 모두에서 병합을 위해 두 가지 방법을 결합하는 통합 전략을 포함합니다. PS에서 병합하는 것은 단순히 레이어 파라미터를 복사하여 꿰매는 것이 아니라 가중치도 혼합한다는 점에 유의하세요. 이 병합은 여기에 예시된 것처럼 색상을 혼합하는 것과 유사합니다(예: 빨간색과 파란색이 보라색이 됨). 독자를 위해 질문을 영어로 번역했지만, 모델은 일본어 텍스트로 작동합니다.