In our search, we only optimize the data inference path inside the merged model and keep parameters in the models intact. In this setting, a layer may face an input whose distribution is different from what it is used to (from its original model), leading to unexpected outputs. For example, our preliminary studies show that swapping a pair of neighboring layers in a language model makes its performance drop. Although more theoretical studies are needed to model the distribution shift, empirically we find that appropriately scaling an input that wishes to go from layer \(i\) to \(j\) by \(W_{ij}\) help alleviate the problem. Here, \(W\in\mathcal{R}^{M\times M}\) is a matrix that is also optimized by the evolutionary search together with the indicator array \(\mathcal{I}\).
검색에서 우리는 병합된 모델 내부의 데이터 추론 경로만 최적화하고 모델의 파라미터는 그대로 유지합니다. 이 설정에서 layer는 원래 모델과는 다른 분포를 가진 입력에 직면할 수 있으며, 이로 인해 예기치 않은 출력이 발생할 수 있습니다. 예를 들어, 예비 연구에 따르면 언어 모델에서 인접한 layer 쌍을 교체하면 성능이 저하되는 것으로 나타났습니다. 분포 이동을 모델링하기 위해서는 더 많은 이론적 연구가 필요하지만, 경험적으로는 layer \(i\)에서 \(j\)로 이동하려는 입력을 \(W_{ij}\)만큼 적절하게 scaling하면 문제를 완화하는 데 도움이 된다는 것을 알 수 있습니다. 여기서 \(W\in\mathcal{R}^{M\times M}\)은 표시자 배열 \(\mathcal{I}\)와 함께 진화 검색에 의해 최적화되는 행렬입니다.
검색에서 우리는 병합된 모델 내부의 데이터 추론 경로만 최적화하고 모델의 파라미터는 그대로 유지합니다. 이 설정에서 계층은 원래 모델과는 다른 분포를 가진 입력에 직면할 수 있으며, 이로 인해 예기치 않은 출력이 발생할 수 있습니다. 예를 들어, 예비 연구에 따르면 언어 모델에서 인접한 레이어 쌍을 교체하면 성능이 저하되는 것으로 나타났습니다. 분포 이동을 모델링하기 위해서는 더 많은 이론적 연구가 필요하지만, 경험적으로는 레이어 \(i\)에서 \(j\)로 이동하려는 입력을 \(W_{ij}\)만큼 적절하게 스케일링하면 문제를 완화하는 데 도움이 된다는 것을 알 수 있습니다. 여기서 \(W\in\mathcal{R}^{M\times M}\)은 표시자 배열 \(\mathcal{I}\)와 함께 진화 검색에 의해 최적화되는 행렬입니다.