A key problem of weight interpolation-based methods is that they neglect parameter interference, leading to performance degradation. A recent work [49] identifies two key sources of interference: redundant parameter values and conflicting parameter signs across models, and proposes a method that addresses these issues to achieve improved merging performance. The proposed TIES-Merging method addresses information loss in existing merging methods by incorporating three steps: resetting minimal parameter changes, resolving sign conflicts, and merging only aligned parameters.
가중치 보간 기반 방법의 주요 문제는 매개변수 간섭을 무시하여 성능 저하를 초래한다는 점입니다. 최근 연구 [49]에서는 간섭의 두 가지 주요 원천을 식별했습니다: 중복된 매개변수 값과 모델 간의 상충되는 매개변수 부호입니다. 이 연구는 이러한 문제를 해결하여 향상된 병합 성능을 달성하는 방법을 제안합니다. 제안된 TIES-Merging 방법은 최소한의 매개변수 변경을 재설정하고, 부호 충돌을 해결하며, 정렬된 매개변수만 병합하는 세 가지 단계를 포함하여 기존 병합 방법에서의 정보 손실을 해결합니다.
가중치 보간 기반 방법의 주요 문제는 파라미터 간섭을 무시하여 성능 저하로 이어진다는 것입니다. 최근 연구[49]에서는 두 가지 주요 간섭원인, 즉 중복된 파라미터 값과 모델 간 충돌하는 파라미터 부호를 파악하고 이러한 문제를 해결하여 개선된 병합 성능을 달성하는 방법을 제안했습니다. 제안된 TIES-Merging 방법은 최소 파라미터 변경 사항 재설정, 부호 충돌 해결, 정렬된 파라미터만 병합하는 세 단계를 통합하여 기존 병합 방법의 정보 손실을 해결합니다.