In Table 4, we present the results of the reliability experiment. Llama-2-7b-chat consistently outperforms Llama-2-7b on the truthfulness and toxicity benchmarks. Notably, after continual pre-training, the models demonstrate inferior performance compared to Llama-2-7b-chat on the two benchmarks. This trend is particularly pronounced in the truthfulness analysis benchmark for English and the toxicity benchmark for Traditional Chinese. Furthermore, we observed that models with a preference for generating Chinese output exhibit inferior performance in the toxicity benchmark. Regarding the bias benchmark, we can observe that Llama-2-7b-chat outputs more positive text than Llama-2-7b. After continual pre-training, the models' outputs have relatively more negative sentiment scores than Llama-2-7b-chat.
표 4에 신뢰성 실험 결과를 제시합니다. Llama-2-7b-chat은 진실성 및 독성 벤치마크에서 Llama-2-7b보다 일관되게 우수한 성능을 보입니다. 특히, 지속적인 pre-training 후 두 벤치마크에서 모델은 Llama-2-7b-chat에 비해 열등한 성능을 보입니다. 이러한 추세는 영어의 진실성 분석 벤치마크와 중국어의 독성 벤치마크에서 특히 두드러집니다. 또한 중국어 출력을 생성하는 것을 선호하는 모델은 독성 벤치마크에서 열등한 성능을 보이는 것으로 관찰되었습니다. 편향성 벤치마크와 관련하여 Llama-2-7b-chat이 Llama-2-7b보다 더 긍정적인 텍스트를 출력하는 것을 관찰할 수 있습니다. 지속적인 pre-training 후 모델의 출력은 Llama-2-7b-chat보다 상대적으로 부정적인 감정 점수가 더 많습니다.
표 4에 신뢰성 실험 결과를 제시합니다. Llama-2-7b-chat은 진실성 및 독성 벤치마크에서 Llama-2-7b보다 일관되게 우수한 성능을 보입니다. 특히, 지속적인 사전 학습 후 두 벤치마크에서 모델은 Llama-2-7b-chat에 비해 열등한 성능을 보입니다. 이러한 추세는 영어의 진실성 분석 벤치마크와 중국어의 독성 벤치마크에서 특히 두드러집니다. 또한 중국어 출력을 생성하는 것을 선호하는 모델은 독성 벤치마크에서 열등한 성능을 보이는 것으로 관찰되었습니다. 편향성 벤치마크와 관련하여 Llama-2-7b-chat이 Llama-2-7b보다 더 긍정적인 텍스트를 출력하는 것을 관찰할 수 있습니다. 지속적인 사전 학습 후 모델의 출력은 Llama-2-7b-chat보다 상대적으로 부정적인 감정 점수가 더 많습니다.