The experimental results are presented in Table 1. We observed the following: (1) **chat vector enables the model to follow instruction:** as shown in table 1, \(\text{llama2}\rightarrow\text{CP}+\text{chat}\) vector have comparable result with \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}\) in both \(\text{Trandtional}\) Chinese LLaMA and Chinese LLaMA. This states the chat vector contains information about the instruction following, which the model can use to guide its output. (2) **FT and chat vector have a complementary effect:** FT and adding a chat vector together gives better performance than doing either one alone. (3) \(\text{llama2-chat}\rightarrow\text{CP}+\text{FT}\)** makes the chat ability lost:** although it outperform than the \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}\), it is worse than the \(\text{llama2}\) CP \(+\text{chat}\) vector or \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}+\text{chat}\) vector. This indicates that \(\text{llama2-chat}\rightarrow\text{CP}+\text{FT}\) will cause information loss, and also shows the importance of using the chat vector. To conclude, the chat vector augments model capabilities in following instructions, independent of the CP model's native language. Furthermore, introducing the chat vector subsequent to fine-tuning elevates generation prowess.
실험 결과는 표 1에 나와 있습니다. 다음과 같은 사실을 관찰했습니다: (1) **chat 벡터는 모델이 Instruction을 따를 수 있게 해줍니다:** 표 1에서 볼 수 있듯이, \(\text{llama2}\rightarrow\text{CP}+\text{chat}\) 벡터는 \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}\)와 비슷한 결과를 보였습니다. 이는 chat 벡터에 Instruction을 따르는 정보가 포함되어 있으며, 모델이 이를 사용하여 출력을 안내할 수 있음을 나타냅니다. (2) **FT와 chat 벡터는 상호 보완적인 효과가 있습니다:** FT와 chat 벡터를 함께 사용하면 둘 중 하나만 사용하는 것보다 더 나은 성능을 제공합니다. (3) \(\text{llama2-chat}\rightarrow\text{CP}+\text{FT}\)**는 chat 기능을 상실시킵니다:** \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}\)보다 성능이 뛰어나지만, \(\text{llama2}\) CP \(+\text{chat}\) 벡터 또는 \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}+\text{chat}\) 벡터보다 나쁩니다. 이는 \(\text{llama2-chat}\rightarrow\text{CP}+\text{FT}\)가 정보 손실을 유발할 수 있음을 나타내며, chat 벡터 사용의 중요성을 보여줍니다. 결론적으로, chat 벡터는 CP 모델의 기본 언어와 관계없이 Instruction을 따르는 모델 기능을 향상시킵니다. 또한 Fine-tuning 후 chat 벡터를 도입하면 생성 능력이 향상됩니다.
실험 결과는 표 1에 나와 있습니다. 다음과 같은 사실을 관찰했습니다: (1) **채팅 벡터는 모델이 명령을 따를 수 있게 해줍니다:** 표 1에서 볼 수 있듯이, (\text{llama2}\rightarrow\text{CP}+\text{chat}\) 벡터는 (\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}\)와 비슷한 결과를 보였습니다. 이는 채팅 벡터에 명령어를 따르는 정보가 포함되어 있으며, 모델이 이를 사용하여 출력을 안내할 수 있음을 나타냅니다. (2) **FT와 채팅 벡터는 상호 보완적인 효과가 있습니다:** FT와 채팅 벡터를 함께 사용하면 둘 중 하나만 사용하는 것보다 더 나은 성능을 제공합니다. (3) \(\text{llama2-chat}\rightarrow\text{CP}+\text{FT}\)**는 채팅 기능을 상실시킵니다:** \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}\)보다 성능이 뛰어나지만, \(\text{llama2}\) CP \(+\text{chat}\) 벡터 또는 \(\text{llama2}\rightarrow\text{CP}\rightarrow\text{FT}+\text{chat}\) 벡터보다 나쁩니다. 이는 (\text{llama2-chat}\rightarrow\text{CP}+\text{FT}\)가 정보 손실을 유발할 수 있음을 나타내며, 채팅 벡터 사용의 중요성을 보여줍니다. 결론적으로, 채팅 벡터는 CP 모델의 기본 언어와 관계없이 명령을 따르는 모델 기능을 향상시킵니다. 또한 미세 조정 후 채팅 벡터를 도입하면 생성 능력이 향상됩니다.