In our exploration of model merging in the parameter space, we experimented with diverse configurations, such as varying the assignment of merging parameters across different layer groups. However, due to a constrained dataset, we did not witness notable improvements in performance correlating with increase in configuration complexity. Consequently, we focused our reporting on a PS merged model (Model 4 in Table 1) that adopts the simplest setting: considering each source model as a singular layer and allocating two DARE-TIES associated parameters to each for evolutionary merging. Figure 3 illustrates the evolved parameter configuration post PS merging.
모델 병합에 대한 파라미터 공간 탐색에서, 우리는 다양한 레이어 그룹 간의 병합 파라미터 할당을 변화시키는 등 다양한 구성으로 실험을 진행했습니다. 그러나 제한된 데이터셋으로 인해 구성 복잡성 증가와 성능 향상 간의 뚜렷한 상관관계를 관찰하지 못했습니다. 따라서 우리는 가장 단순한 설정을 채택한 PS 병합 모델(Table 1의 Model 4)에 대한 보고에 집중했습니다: 각 소스 모델을 단일 레이어로 간주하고, 진화적 병합을 위해 각 모델에 두 개의 DARE-TIES 관련 파라미터를 할당했습니다. Figure 3은 PS 병합 후 진화된 파라미터 구성을 보여줍니다.
매개변수 공간에서 모델 병합을 탐색하면서 다양한 레이어 그룹에 병합 매개변수 할당을 변경하는 등 다양한 구성을 실험했습니다. 그러나 제한된 데이터 세트로 인해 구성 복잡성의 증가와 관련된 성능 향상이 눈에 띄지 않았습니다. 따라서 가장 간단한 설정을 채택하는 PS 병합 모델(표 1의 모델 4)에 집중하여 보고했습니다: 각 소스 모델을 단일 레이어로 간주하고 진화 병합을 위해 각 모델에 두 개의 DARE-TIES 관련 매개변수를 할당합니다. 그림 3은 PS 병합 후 진화된 파라미터 구성을 보여줍니다.