Recent studies Wortsman et al. (2021); Matena and Raffel (2022); Wortsman et al. (2022) suggest that we can merge several models by interpolating their weights. Inspired by prior works, Ilharco et al. (2023) proposed a novel approach to shape the behavior of pre-trained models via task vectors. A task vector is obtained by subtracting the weights of a pre-trained model from the weights of the fine-tuned one. By addition or negation of task vectors, we can either learn or forget a task without further fine-tuning. Daehim et al. (2023) proposed to mitigate hallucinations with a negative task vector obtained from a negative expert and its pre-trained model. Zhang et al. (2023) turned to compose different parameter-efficient modules Hu et al. (2021); Liu et al. (2022) via simple arithmetic operations. Rame et al. (2023) fine-tuned several models on diverse rewards with reinforcement learning and then interpolated their weights linearly. Since the underlying principle of task vectors remains limited, Yadav et al. (2023); Ortiz-Jimenez et al. (2023) focused on discovering the effectiveness of task arithmetic.
최근 연구 Wortsman et al. (2021); Matena and Raffel (2022); Wortsman et al. (2022)에 따르면 가중치를 보간하여 여러 모델을 병합할 수 있다고 제안합니다. 이전 연구에서 영감을 받아 Ilharco et al. (2023)은 작업 벡터를 통해 사전 학습된 모델의 동작을 형성하는 새로운 접근 방식을 제안했습니다. 작업 벡터는 사전 학습된 모델의 가중치에서 Fine-tuned 모델의 가중치를 빼서 얻습니다. 작업 벡터를 더하거나 빼면 추가 Fine-tuning 없이도 작업을 학습하거나 잊어버릴 수 있습니다. Daehim et al. (2023)은 부정적인 전문가와 사전 학습된 모델에서 얻은 부정적인 작업 벡터로 Hallucinations을 완화할 것을 제안했습니다. Zhang et al. (2023)은 간단한 산술 연산을 통해 다양한 매개변수 효율 모듈 Hu et al. (2021); Liu et al. (2022)을 구성하는 데 주목했습니다. Rame et al. (2023)은 Reinforcement Learning을 통해 다양한 보상에 대해 여러 모델을 Fine-tuning한 다음 가중치를 선형적으로 보간했습니다. 작업 벡터의 기본 원리는 제한되어 있기 때문에 Yadav et al. (2023); Ortiz-Jimenez et al. (2023)은 작업 산술의 효과를 발견하는 데 중점을 두었습니다.
최근 연구 Wortsman et al. (2021); Matena and Raffel (2022); Wortsman et al. (2022)에 따르면 가중치를 보간하여 여러 모델을 병합할 수 있다고 제안합니다. 이전 연구에서 영감을 받아 Ilharco et al. (2023)은 작업 벡터를 통해 사전 학습된 모델의 동작을 형성하는 새로운 접근 방식을 제안했습니다. 작업 벡터는 사전 학습된 모델의 가중치에서 미세 조정된 모델의 가중치를 빼서 얻습니다. 작업 벡터를 더하거나 빼면 추가 미세 조정 없이도 작업을 학습하거나 잊어버릴 수 있습니다. Daehim et al. (2023)은 부정적인 전문가와 사전 학습된 모델에서 얻은 부정적인 작업 벡터로 환각을 완화할 것을 제안했습니다. Zhang et al. (2023)은 간단한 산술 연산을 통해 다양한 매개변수 효율 모듈 Hu et al. (2021); Liu et al. (2022)을 구성하는 데 주목했습니다. Rame et al. (2023)은 강화 학습을 통해 다양한 보상에 대해 여러 모델을 미세 조정한 다음 가중치를 선형적으로 보간했습니다. 작업 벡터의 기본 원리는 제한되어 있기 때문에 Yadav et al. (2023); Ortiz-Jimenez et al. (2023)은 작업 산술의 효과를 발견하는 데 중점을 두었습니다.