In our initial effort in this domain, we limit ourselves to serial connections and non-adaptive configurations, deferring the investigation of more flexible model merging to future work. Concretely, with a collection of \(N\) models and a budget \(T\), our method searches for a sequence of layer indices \(L_{i,j}^{(t)}\) that delineates the path all the tokens should follow for a specific task. Here \(L_{i,j}\) denotes the \(j\)-th layer in the \(i\)-th model, with \(t\in[1,T]\) marking the step in the inference path.
초기 노력으로, 우리는 직렬 연결과 비적응형 구성에만 제한하며, 더 유연한 모델 병합에 대한 조사는 향후 작업으로 미룹니다. 구체적으로, \(N\)개의 모델과 예산 \(T\)가 주어졌을 때, 우리의 방법은 특정 작업을 위해 모든 토큰이 따라야 할 경로를 나타내는 계층 인덱스 \(L_{i,j}^{(t)}\)의 시퀀스를 검색합니다. 여기서 \(L_{i,j}\)는 \(i\)번째 모델의 \(j\)번째 계층을 나타내며, \(t\in[1,T]\)는 추론 경로의 단계를 표시합니다.
이 영역에서의 초기 노력에서는 보다 유연한 모델 병합에 대한 조사를 향후 작업으로 미루면서 직렬 연결과 비적응 구성으로 제한합니다. 구체적으로, \(N\) 개의 모델 컬렉션과 예산 \(T\)가 있는 경우, 우리의 방법은 특정 작업에 대해 모든 토큰이 따라야 하는 경로를  delinating하는 계층 인덱스 \(L_{i,j}^{(t)}\)의 시퀀스를 검색합니다. 여기서 \(L_{i,j}\)는 \(i\)-번째 모델의 \(j\)-번째 레이어를 나타내며, \(t\in[1,T]\)는 추론 경로의 단계를 표시합니다.