can be transformed into different languages through the utilization of chat vectors. Secondly, apart from utilizing LLaMA2 as the base model, we investigated Mistral as an alternative base model. Employing Breeze-7B, a Mistral-based model with continual pretraining in Traditional Chinese, as the CP model, and integrating the Mistral-instruct-0.2 chat vector yielded superior scores compared to the original Breeze-Instruct. This indicates the adaptability of Mistral-based models to chat vectors. Finally, the versatility of chat vectors is not limited to Chinese. Taking Korean as an example, applying the LLaMA2 with cotinual pretraining Korean, combined with the LLaMA2 chat vector, enables the model to acquire instruction-following capabilities. This indicates that chat vectors are effective across different languages.
챗 벡터를 활용하여 다른 언어로 변환할 수 있습니다. 둘째, LLaMA2를 base model로 활용하는 것 외에도 Mistral을 대체 base model로 조사했습니다. Traditional Chinese에서 지속적으로 pretraining한 Mistral 기반 모델인 Breeze-7B를 CP 모델로 사용하고 Mistral-instruct-0.2 chat vector를 통합한 결과, 기존 Breeze-Instruct에 비해 더 우수한 점수를 얻었습니다. 이는 Mistral 기반 모델이 chat vector에 적응할 수 있음을 나타냅니다. 마지막으로, chat vector의 다용도성은 중국어에만 국한되지 않습니다. 한국어를 예로 들어, 지속적으로 pretraining한 Korean LLaMA2를 LLaMA2 chat vector와 결합하면 모델이 instruction-following 기능을 습득할 수 있습니다. 이는 chat vector가 다양한 언어에 걸쳐 효과적임을 나타냅니다.
챗 벡터를 활용하여 다른 언어로 변환할 수 있습니다. 둘째, LLaMA2를 기본 모델로 활용하는 것 외에도 Mistral을 대체 기본 모델로 조사했습니다. 트위터에서 지속적으로 전처리를 거친 미스트랄 기반 모델인 Breeze-7B를 CP 모델로 사용하고 미스트랄 인스트럭트-0.2 채팅 벡터를 통합한 결과, 기존 브리즈 인스트럭트에 비해 더 우수한 점수를 얻었습니다. 이는 미스트랄 기반 모델이 채팅 벡터에 적응할 수 있음을 나타냅니다. 마지막으로, 채팅 벡터의 다용도성은 중국어에만 국한되지 않습니다. 한국어를 예로 들어 한국어를 지속적으로 전처리한 LLaMA2를 LLaMA2 채팅 벡터와 결합하면 모델이 명령어를 따르는 기능을 습득할 수 있습니다. 이는 채팅 벡터가 다양한 언어에 걸쳐 효과적임을 나타냅니다.