In this work, we aim to enhance the alignment of non-English LLMs with human preferences. Inspired by the concept of task vectors (Ilharco et al., 2023), we hypothesize that given a consistent base model, pre-existing knowledge and acquired behaviors can be synergized through a straightforward vector addition in the parameter space. To achieve this, we propose an approach to restructure the conventional training paradigm for non-English LLMs from CP \(\rightarrow\) SFT \(\rightarrow\) RLHF to CP \(+\) chat vector. The chat vector is derived by subtracting LLaMA-2's pre-trained weights from those of its chat-enhanced counterpart, LLaMA-2-chat. By introducing this chat vector to a LLaMA-2-based model that's continually pre-trained on non-English content, the evolved model responds in the target language, both in providing answers and declining inappropriate requests, and it aligns more deeply with human preferences. The main process of our method is illustrated in Figure 1.
이 연구에서는 비영어 LLM과 인간의 선호도를 더 잘 맞추는 것을 목표로 합니다. 작업 벡터(Ilharco et al., 2023)의 개념에서 영감을 받아 일관된 기본 모델이 주어지면 기존 지식과 습득한 행동을 파라미터 공간에서 간단한 벡터 덧셈을 통해 시너지 효과를 낼 수 있다는 가설을 세웁니다. 이를 위해 비영어 LLM의 기존 훈련 패러다임을 CP \(\rightarrow\) Supervised Fine-tuning (SFT) \(\rightarrow\) Reinforcement Learning from Human Feedback (RLHF)에서 CP \(+\) chat vector로 재구성하는 접근 방식을 제안합니다. chat vector는 LLaMA-2의 사전 학습된 가중치에서 채팅이 강화된 모델인 LLaMA-2-chat의 가중치를 빼서 도출됩니다. 이 chat vector를 비영어 콘텐츠에 대해 지속적으로 사전 학습된 LLaMA-2 기반 모델에 도입하면, 진화된 모델은 답변 제공과 부적절한 요청 거절 모두에서 대상 언어로 응답하며, 인간의 선호도에 더 깊이 부합하게 됩니다. 이 방법의 주요 프로세스는 그림 1에 설명되어 있습니다.
이 연구에서는 비영어 LLM과 인간의 선호도를 더 잘 맞추는 것을 목표로 합니다. 작업 벡터(Ilharco et al., 2023)의 개념에서 영감을 받아 일관된 기본 모델이 주어지면 기존 지식과 습득한 행동을 파라미터 공간에서 간단한 벡터 덧셈을 통해 시너지 효과를 낼 수 있다는 가설을 세웁니다. 이를 위해 비영어 LLM의 기존 훈련 패러다임을 CP \(\rightarrow\) SFT \(\rightarrow\) RLHF에서 CP \(+\) 채팅 벡터로 재구성하는 접근 방식을 제안합니다. 채팅 벡터는 LLaMA-2의 사전 학습된 가중치에서 채팅이 강화된 모델인 LLaMA-2-chat의 가중치를 빼서 도출됩니다. 이 채팅 벡터를 비영어 콘텐츠에 대해 지속적으로 사전 학습된 LLaMA-2 기반 모델에 도입하면, 진화된 모델은 답변 제공과 부적절한 요청 거절 모두에서 대상 언어로 응답하며, 인간의 선호도에 더 깊이 부합하게 됩니다. 이 방법의 주요 프로세스는 그림 1에 설명되어 있습니다.