As showcased in Table 6, 7, 8, we present case studies focused on the chat vector. Notably, the model configurations llama2 \(\rightarrow\) CP \(+\) chat vector and llama2 \(\rightarrow\) CP \(\rightarrow\) FT \(+\) chat vector both successfully decline to respond to the prompt and instead offer a safe reply to the user. In contrast, the configuration llama2 \(\rightarrow\) CP \(\rightarrow\) FT suggests illegal methods, demonstrating a deficiency in its safety capabilities. Similarly, the configuration llama2- chat \(\rightarrow\) CP \(\rightarrow\) FT also recommends illicit methods, suggesting a loss of RLHF capability due to the continual-pretraining and fine-tuning processes.
표 6, 7, 8에 나와 있듯이 chat vector에 초점을 맞춘 사례 연구를 제시합니다. 특히, 모델 구성 llama2 \(\rightarrow\) CP \(+\) chat vector와 llama2 \(\rightarrow\) CP \(\rightarrow\) FT \(+\) chat vector는 프롬프트에 응답하지 않고 대신 사용자에게 안전한 답변을 제공하는 데 성공했습니다. 반면, llama2 \(\rightarrow\) CP \(\rightarrow\) FT 구성은 불법적인 방법을 제안하여 안전 기능에 결함이 있음을 보여줍니다. 마찬가지로, llama2- chat \(\rightarrow\) CP \(\rightarrow\) FT 구성도 불법적인 방법을 추천하여 지속적인 전처리 및 Fine-tuning 과정으로 인해 RLHF 기능이 손실되었음을 시사합니다.
표 6, 7, 8에 나와 있듯이 채팅 벡터에 초점을 맞춘 사례 연구를 제시합니다. 특히, 모델 구성 llama2 \(\rightarrow\) CP \(+\) 채팅 벡터와 llama2 \(\rightarrow\) CP \(\rightarrow\) FT \(+\) 채팅 벡터는 프롬프트에 응답하지 않고 대신 사용자에게 안전한 답변을 제공하는 데 성공했습니다. 반면, llama2 \(\rightarrow\) CP \(\rightarrow\) FT 구성은 불법적인 방법을 제안하여 안전 기능에 결함이 있음을 보여줍니다. 마찬가지로, llama2- 채팅 \(\rightarrow\) CP \(\rightarrow\) FT 구성도 불법적인 방법을 추천하여 지속적인 전처리 및 미세 조정 과정으로 인해 RLHF 기능이 손실되었음을 시사합니다.