We assess the efficacy of the chat vector across multiple target languages, focusing primarily on Traditional Chinese, by considering three aspects: toxicity, the ability to follow instructions and multi-turn dialogue. The models are evaluated on three benchmarks: SAFETYPROMPTS (Sun et al., 2023), REALOXICITYPROMPTS (Gehman et al., 2020), and the Vicuna Benchmark (Chiang et al., 2023), with GPT-4 handling the translation of the latter two into the target language. The results demonstrate that the strategy of incorporating the chat vector after continual pre-training yielded superior outcomes compared to direct pre-training on LLaMa-2-chat. Furthermore, applying fine-tuning prior to the integration of the chat vector optimizes performance irrespective of the fine-tuning dataset's scale or the language of the pre-trained model. Beyond merely augmenting an LLM's conversational skills, it offers crucial insights into the meaning of learning weights in the parameter space and the integration of added vectors with pre-existing knowledge. Most importantly, performing arithmetic operations on the chat vector is substantially more efficient than reimplementing RLHF in the target language.
독성, Instruction 및 다중 턴 대화를 따르는 능력의 세 가지 측면을 고려하여 주로 중국어를 중심으로 여러 대상 언어에 걸쳐 채팅 벡터의 효능을 평가합니다. 이 모델은 세 가지 벤치마크에서 평가됩니다: SAFETYPROMPTS(Sun et al., 2023), REALOXICITYPROMPTS(Gehman et al., 2020), Vicuna 벤치마크(Chiang et al., 2023)에서 평가되며, GPT-4는 후자의 두 가지를 대상 언어로 번역합니다. 그 결과, 지속적인 사전 학습 후 채팅 벡터를 통합하는 전략이 LLaMa-2-chat에 대한 직접 사전 학습에 비해 더 우수한 결과를 가져온 것으로 나타났습니다. 또한 채팅 벡터를 통합하기 전에 Fine-tuning을 적용하면 Fine-tuning 데이터 세트의 규모나 사전 학습된 모델의 언어에 관계없이 성능이 최적화됩니다. 이 방법은 단순히 LLM의 대화 능력을 향상시킬 뿐만 아니라 파라미터 공간에서 학습 가중치의 의미와 추가 벡터를 기존 지식과 통합하는 데 중요한 인사이트를 제공합니다. 가장 중요한 것은 채팅 벡터에 산술 연산을 수행하는 것이 대상 언어로 RLHF를 다시 구현하는 것보다 훨씬 효율적이라는 점입니다.
독성, 지시 사항 및 다중 턴 대화를 따르는 능력의 세 가지 측면을 고려하여 주로 중국어를 중심으로 여러 대상 언어에 걸쳐 채팅 벡터의 효능을 평가합니다. 이 모델은 세 가지 벤치마크에서 평가됩니다: SAFETYPROMPTS(Sun et al., 2023), REALOXICITYPROMPTS(Gehman et al., 2020), Vicuna 벤치마크(Chiang et al., 2023)에서 평가되며, GPT-4는 후자의 두 가지를 대상 언어로 번역합니다. 그 결과, 지속적인 사전 학습 후 채팅 벡터를 통합하는 전략이 LLaMa-2-chat에 대한 직접 사전 학습에 비해 더 우수한 결과를 가져온 것으로 나타났습니다. 또한 채팅 벡터를 통합하기 전에 미세 조정을 적용하면 미세 조정 데이터 세트의 규모나 사전 학습된 모델의 언어에 관계없이 성능이 최적화됩니다. 이 방법은 단순히 LLM의 대화 능력을 향상시킬 뿐만 아니라 파라미터 공간에서 학습 가중치의 의미와 추가 벡터를 기존 지식과 통합하는 데 중요한 인사이트를 제공합니다. 가장 중요한 것은 채팅 벡터에 산술 연산을 수행하는 것이 대상 언어로 RLHF를 다시 구현하는 것보다 훨씬 효율적이라는 점입니다.