Figure 4: **Evolved Configurations for DFS Merging of models \(A\) and \(B\).** The three figures depict the evolution of the inference path on the MGSM-JA task. The y-axis represents the layer index \(l\in[1,M]\), and the x-axis corresponds to the path index \(t\in[1,T]\). Blue markers indicate path steps utilizing layers from model \(A\), and red markers denotes those from \(B\). Marker size reflects the magnitude of the scaling factor \(W_{ij}\). The evolutionary search result includes most layers in \(A\) at an early stage and then alternates between layers from both models. This result is from our 10B model (PS+DFS).
Figure 4: **모델 \(A\)와 \(B\)의 DFS 병합을 위한 진화된 구성.** 세 그림은 MGSM-JA 작업에서 추론 경로의 진화를 나타냅니다. y축은 레이어 인덱스 \(l\in[1,M]\)를 나타내고, x축은 경로 인덱스 \(t\in[1,T]\)에 해당합니다. 파란색 마커는 모델 \(A\)의 레이어를 사용하는 경로 단계를 나타내며, 빨간색 마커는 모델 \(B\)의 레이어를 나타냅니다. 마커 크기는 스케일링 팩터 \(W_{ij}\)의 크기를 반영합니다. 진화적 검색 결과는 초기 단계에서 대부분 모델 \(A\)의 레이어를 포함하고, 이후 두 모델의 레이어를 번갈아 가며 사용합니다. 이 결과는 우리의 10B 모델 (PS+DFS)에서 나온 것입니다.
그림 4: **모델 \(A\)와 \(B\)의 DFS 병합을 위한 진화된 구성.** 세 개의 그림은 MGSM-JA 작업에서 추론 경로의 진화를 나타냅니다. Y축은 레이어 인덱스 \(l\in[1,M]\), X축은 경로 인덱스 \(t\in[1,T]\). 파란색 마커는 모델 \(A\)의 레이어를 활용하는 경로 단계를 나타내고 빨간색 마커는 \(B\)의 레이어를 활용하는 경로 단계를 나타냅니다. 마커 크기는 스케일링 계수 \(W_{ij}\)의 크기를 반영합니다. 진화 검색 결과는 초기 단계에서 대부분의 레이어를 \(A\)에 포함시킨 다음 두 모델의 레이어를 번갈아 가며 사용합니다. 이 결과는 10B 모델(PS+DFS)에서 얻은 결과입니다.