Recent analysis and discoveries imply that knowledge is stored distributedly in language models [14; 35; 36], suggesting simple yet novel model merging possibilities in the data flow space (DFS). Unlike merging in PS, model merging in DFS preserves the original weights of each layer intact. Instead, it optimizes the inference path that tokens follow as they traverse through the neural network. For example, after the \(i\)-th layer in model \(A\), a token may be directed to the \(j\)-th layer in model \(B\).
최근의 분석과 발견에 따르면 지식은 언어 모델에 분산되어 저장되어 있으며[14; 35; 36], 이는 데이터 흐름 공간(DFS)에서 단순하면서도 새로운 모델 병합 가능성을 시사합니다. PS에서의 병합과 달리 DFS에서의 모델 병합은 각 layer의 원래 weights를 그대로 유지합니다. 대신 token이 신경망을 통과할 때 따라가는 inference 경로를 최적화합니다. 예를 들어, 모델 \(A\)의 \(i\)-번째 layer 이후에 token은 모델 \(B\)의 \(j\)-번째 layer로 보내질 수 있습니다.
최근의 분석과 발견에 따르면 지식은 언어 모델에 분산되어 저장되어 있으며[14; 35; 36], 이는 데이터 흐름 공간(DFS)에서 단순하면서도 새로운 모델 병합 가능성을 시사합니다. PS에서의 병합과 달리 DFS에서의 모델 병합은 각 레이어의 원래 가중치를 그대로 유지합니다. 대신 토큰이 신경망을 통과할 때 따라가는 추론 경로를 최적화합니다. 예를 들어, 모델 \(A\)의 \(i\)-번째 레이어 이후에 토큰은 모델 \(B\)의 \(j\)-번째 레이어로 보내질 수 있습니다.