We explore the impact of data sources on model safety by evaluating our models on SafetyBench. Models trained on CQIA-Subset scores the highest within CQIA series, surpassing GPT-3.5-turbo-0613. Model trained on Social Media& Forums such as Douban, Zhihu, and Xhs perform moderate safety scores, we conjecture this is due to the diversity and openness of social media content, which also highlights the risks of harmful information. Additionally, models trained on Wiki-style data tend to perform lower safety scores, potentially reflecting the limited diversity within professional data sources, leading to poor performance on safety issues outside specialty domains.
데이터 소스가 모델 안전성에 미치는 영향을 SafetyBench에서 모델을 평가하여 탐구합니다. CQIA-Subset으로 훈련된 모델은 CQIA 시리즈 내에서 가장 높은 점수를 기록하며, GPT-3.5-turbo-0613을 능가합니다. Douban, Zhihu, Xhs와 같은 소셜 미디어 및 포럼에서 훈련된 모델은 중간 정도의 안전 점수를 기록하는데, 이는 소셜 미디어 콘텐츠의 다양성과 개방성 때문이라고 추측됩니다. 이는 또한 유해한 정보의 위험성을 강조합니다. 추가적으로, 위키 스타일 데이터로 훈련된 모델은 낮은 안전 점수를 기록하는 경향이 있는데, 이는 전문 데이터 소스 내의 제한된 다양성을 반영하여 전문 분야 외의 안전 문제에 대한 성능이 저조함을 나타낼 수 있습니다.
SafetyBench에서 모델을 평가하여 데이터 소스가 모델 안전성에 미치는 영향을 살펴봅니다. CQIA-Subset으로 훈련된 모델은 CQIA 시리즈 내에서 가장 높은 점수를 받았으며, GPT-3.5-turbo-0613을 능가했습니다. 두반, 지후, Xhs와 같은 소셜 미디어 및 포럼으로 학습된 모델은 적당한 안전 점수를 기록했는데, 이는 소셜 미디어 콘텐츠의 다양성과 개방성 때문이라고 추측하며, 이는 유해한 정보의 위험성을 강조하는 것으로 보입니다. 또한 위키 스타일의 데이터로 학습된 모델은 안전 점수가 낮은 경향이 있는데, 이는 전문 데이터 소스 내에서 제한된 다양성으로 인해 전문 분야 외의 안전 문제에 대한 성능이 저하되었을 가능성이 높습니다.