In our DFS merging experiments, \(M=64,r=3\), and consequently, \(T=M\times r=192\). We kept the last 200 examples in the training data as our validation set and optimize on the rest of the data with a batch size of 200. We report the performance of the snapshot that achieved the highest accuracy in the validation set, and the test set is strictly isolated from the optimization process. We adopted CMA-ES in EvoJAX [46], it optimized \(\mathcal{I}\) and \(W\) for a total of 100 generations with a popluation size of 128, and we used the default hyper-parameters. We limited our DFS merging to two models \(A\) and \(B\) to ensure that the final model remains modest in size and can be run on a single GPU, but in principle, the methodology can scale to merging multiple models. During the merging, model \(A\)'stokenizer, and input/output embeddings are utilized. Furthermore, to maintain compatibility with the embedding layers, we mandate that the initial and final transformer layers of model \(A\) define the start and the end of the inference path. We initialized the indicator array \(\mathcal{I}\) so that all layers in model \(A\) are more likely to be included as initial hops in the inference path to shorten the search time.
DFS 병합 실험에서는 \(M=64,r=3\)이며, 결과적으로 \(T=M\times r=192\)가 됩니다. 훈련 데이터의 마지막 200개 예제를 유효성 검사 세트로 유지하고 나머지 데이터에 대해 Batch Size 200으로 최적화합니다. 유효성 검사 세트에서 가장 높은 정확도를 달성한 스냅샷의 성능을 보고하며, 테스트 세트는 엄격하게 최적화 프로세스에서 격리됩니다. EvoJAX [46]에서 CMA-ES를 채택하여 총 100세대에 걸쳐 \(\mathcal{I}\)와 \(W\)를 최적화했으며, 모집단 크기는 128로 하여 기본 하이퍼파라미터를 사용했습니다. 최종 모델의 크기를 적당하게 유지하고 단일 GPU에서 실행할 수 있도록 DFS 병합을 두 개의 모델 \(A\)와 \(B\)로 제한했지만, 원칙적으로 이 방법론은 여러 모델 병합으로 확장할 수 있습니다. 병합하는 동안 모델 \(A\)의 토크나이저 및 입력/출력 임베딩이 활용됩니다. 또한 임베딩 레이어와의 호환성을 유지하기 위해 모델 \(A\)의 초기 및 최종 Transformer 레이어가 추론 경로의 시작과 끝을 정의하도록 의무화했습니다. 추론 시간을 단축하기 위해 모델 \(A\)의 모든 레이어가 추론 경로의 초기 홉으로 포함될 가능성이 높도록 인디케이터 배열 \(\mathcal{I}\)를 초기화했습니다.
DFS 병합 실험에서는 \(M=64,r=3\)이며, 결과적으로 \(T=M\배 r=192\)가 됩니다. 훈련 데이터의 마지막 200개 예제를 유효성 검사 세트로 유지하고 나머지 데이터에 대해 배치 크기 200으로 최적화합니다. 유효성 검사 세트에서 가장 높은 정확도를 달성한 스냅샷의 성능을 보고하며, 테스트 세트는 엄격하게 최적화 프로세스에서 격리됩니다. EvoJAX [46]에서 CMA-ES를 채택하여 총 100세대에 걸쳐 \(\mathcal{I}\)와 \(W\)를 최적화했으며, 모집단 크기는 128로 하여 기본 하이퍼파라미터를 사용했습니다. 최종 모델의 크기를 적당하게 유지하고 단일 GPU에서 실행할 수 있도록 DFS 병합을 두 개의 모델 \(A\)와 \(B\)로 제한했지만, 원칙적으로 이 방법론은 여러 모델 병합으로 확장할 수 있습니다. 병합하는 동안 모델 \(A\)의 토큰화 및 입력/출력 임베딩이 활용됩니다. 또한 임베딩 레이어와의 호환성을 유지하기 위해 모델 \(A\)의 초기 및 최종 트랜스포머 레이어가 추론 경로의 시작과 끝을 정의하도록 의무화했습니다. 추론 시간을 단축하기 위해 모델 \(A\)의 모든 레이어가 추론 경로의 초기 홉으로 포함될 가능성이 높도록 인디케이터 배열 \(\mathcal{I}\)를 초기화했습니다.