Safety in AlignmentInformed by existing research in [24; 35], we first build a comprehensive safety taxonomy. This taxonomy covers a broad spectrum of potential concerns, including environmental disharmony, superstitious, religious sensitivities, discriminatory practices, substance abuse, violent behavior, illegal activities, hate speech, ethical violations, privacy breaches, self-harm, sexually explicit content, mental health issues, and cybersecurity threats. We curated datasets reflecting these categories for a robust alignment, and mix them with our dialog SFT data. We also include a targeted set of prompts simulating attack scenarios in the alignment phase, which effectively improved the model's resilience against malicious use.
정렬 안전기존 연구[24; 35]를 바탕으로 먼저 포괄적인 안전 분류를 구축합니다. 이 분류는 환경 불화, 미신적, 종교적 민감성, 차별적 관행, 약물 남용, 폭력적 행동, 불법 활동, 혐오 발언, 윤리 위반, 개인정보 침해, 자해, 성적으로 노골적인 콘텐츠, 정신 건강 문제, 사이버 보안 위협 등 잠재적인 우려 사항을 광범위하게 다룹니다. 이러한 카테고리를 반영하는 데이터 세트를 엄격한 정렬을 위해 큐레이션하고 이를 대화 Supervised Fine-tuning (SFT) 데이터와 혼합했습니다. 또한 정렬 단계에서 공격 시나리오를 시뮬레이션하는 대상 프롬프트 세트를 포함시켜 악의적인 사용에 대한 모델의 복원력을 효과적으로 향상시켰습니다.
정렬 안전기존 연구[24; 35]를 바탕으로 먼저 포괄적인 안전 분류를 구축합니다. 이 분류는 환경 불화, 미신적, 종교적 민감성, 차별적 관행, 약물 남용, 폭력적 행동, 불법 활동, 혐오 발언, 윤리 위반, 개인정보 침해, 자해, 성적으로 노골적인 콘텐츠, 정신 건강 문제, 사이버 보안 위협 등 잠재적인 우려 사항을 광범위하게 다룹니다. 이러한 카테고리를 반영하는 데이터 세트를 엄격한 정렬을 위해 큐레이션하고 이를 대화 SFT 데이터와 혼합했습니다. 또한 정렬 단계에서 공격 시나리오를 시뮬레이션하는 대상 프롬프트 세트를 포함시켜 악의적인 사용에 대한 모델의 복원력을 효과적으로 향상시켰습니다.