Recently, the development of open-source large language models (LLMs) has advanced rapidly. Nevertheless, due to data constraints, the capabilities of most open-source LLMs are primarily focused on English. To address this issue, we introduce the concept of _chat vector_ to equip pre-trained language models with instruction following and human value alignment via simple model arithmetic. The chat vector is derived by subtracting the weights of a pre-trained base model (e.g. LLaMA2) from those of its corresponding chat model (e.g. LLaMA2-chat). By simply adding the chat vector to a continual pre-trained model's weights, we can endow the model with chat capabilities in new languages without the need for further training. Our empirical studies demonstrate the superior efficacy of the chat vector from three different aspects: instruction following, toxicity mitigation, and multi-turn dialogue. Moreover, to showcase the adaptability of our approach, we extend our experiments to encompass various languages, base models, and chat vectors. The results underscore the chat vector's simplicity, effectiveness, and wide applicability, making it a compelling solution for efficiently enabling conversational capabilities in pre-trained language models.
최근 오픈 소스 Large Language Models (LLMs)의 개발이 빠르게 진전되고 있습니다. 그럼에도 불구하고 데이터 제약으로 인해 대부분의 오픈 소스 LLM의 기능은 주로 영어에 초점을 맞추고 있습니다. 이 문제를 해결하기 위해 _chat vector_의 개념을 도입하여 사전 학습된 언어 모델에 간단한 모델 연산을 통해 Instruction following 및 인간의 가치 정렬 기능을 갖추도록 합니다. chat vector는 사전 학습된 기본 모델(예: LLaMA2)의 가중치에서 해당 chat 모델(예: LLaMA2-chat)의 가중치를 뺀 값으로부터 도출됩니다. 사전 학습된 모델의 가중치에 chat vector를 더하기만 하면 추가 학습 없이도 새로운 언어로 모델에 chat 기능을 부여할 수 있습니다. 실험 연구를 통해 Instruction following, 독성 완화, 다중 턴 대화의 세 가지 측면에서 chat vector의 우수한 효과를 입증했습니다. 또한, 이 접근 방식의 적응력을 보여주기 위해 다양한 언어, 기본 모델 및 chat vectors를 포괄하는 실험을 확장했습니다. 그 결과 chat vector의 단순성, 효과성 및 광범위한 적용 가능성을 강조하며, 사전 학습된 언어 모델에서 대화 기능을 효율적으로 활성화할 수 있는 강력한 솔루션이 될 수 있음을 보여줍니다.
최근 오픈 소스 대규모 언어 모델(LLM)의 개발이 빠르게 진전되고 있습니다. 그럼에도 불구하고 데이터 제약으로 인해 대부분의 오픈 소스 LLM의 기능은 주로 영어에 초점을 맞추고 있습니다. 이 문제를 해결하기 위해 _채팅 벡터_의 개념을 도입하여 사전 학습된 언어 모델에 간단한 모델 연산을 통해 지시어 추종 및 인간의 가치 정렬 기능을 갖추도록 합니다. 채팅 벡터는 사전 학습된 기본 모델(예: LLaMA2)의 가중치에서 해당 채팅 모델(예: LLaMA2-chat)의 가중치를 뺀 값으로부터 도출됩니다. 사전 학습된 모델의 가중치에 채팅 벡터를 더하기만 하면 추가 학습 없이도 새로운 언어로 모델에 채팅 기능을 부여할 수 있습니다. 실험 연구를 통해 지시어 추종, 독성 완화, 다중 턴 대화의 세 가지 측면에서 채팅 벡터의 우수한 효과를 입증했습니다. 또한, 이 접근 방식의 적응력을 보여주기 위해 다양한 언어, 기본 모델 및 채팅 벡터를 포괄하는 실험을 확장했습니다. 그 결과 채팅 벡터의 단순성, 효과성 및 광범위한 적용 가능성을 강조하며, 사전 학습된 언어 모델에서 대화 기능을 효율적으로 활성화할 수 있는 강력한 솔루션이 될 수 있음을 보여줍니다.