**Phi-3-mini** was developed in accordance with Microsoft's responsible AI principles. The overall approach consisted of safety alignment in post-training, red-teaming, automated testing and evaluations across dozens of RAI harm categories. Helpfulness and harmlessness preference datasets [BJN\({}^{+}\)22, JLD\({}^{+}\)23] with modifications inspired by [BSA\({}^{+}\)24] and multiple in-house generated datasets were leveraged to address the RAI harm categories in safety post-training. An independent red team at Microsoft iteratively examined **phi-3-mini** to further identify areas of improvement during the post-training process. Based on their feedback, we curated additional datasets tailored to address their insights, thereby refining the post-training dataset. This process resulted in significant decrease of harmful response rates,as shown in Figure 3.
**Phi-3-mini**는 Microsoft의 책임감 있는 AI 원칙에 따라 개발되었습니다. 전체적인 접근 방식은 post-training, red-teaming, 수십 개의 RAI 유해 범주에 걸친 automated testing 및 evaluations에서 safety alignment로 구성되었습니다. Helpfulness 및 harmlessness preference datasets [BJN\({}^{+}\)22, JLD\({}^{+}\)23]를 [BSA\({}^{+}\)24]에서 영감을 받아 수정하고 사내에서 생성한 여러 데이터 세트를 활용하여 post-training의 safety에서 RAI 유해 범주를 해결했습니다. Microsoft의 독립적인 red team은 post-training 과정에서 **phi-3-mini**를 반복적으로 검토하여 개선이 필요한 부분을 추가로 파악했습니다. 이들의 피드백을 바탕으로 그들의 인사이트를 해결하기 위해 맞춤화된 데이터 세트를 큐레이션하여 post-training dataset을 개선했습니다. 이 프로세스를 통해 그림 3과 같이 유해한 응답률이 크게 감소했습니다.
**Phi-3-mini**는 Microsoft의 책임감 있는 AI 원칙에 따라 개발되었습니다. 전체적인 접근 방식은 사후 학습, 레드 팀, 수십 개의 RAI 유해 범주에 걸친 자동화된 테스트 및 평가에서 안전한 정렬로 구성되었습니다. 도움 유용성 및 무해성 선호 데이터 세트 [BJN\({}^{+}\)22, JLD\({}^{+}\)23]를 [BSA\({}^{+}\)24]에서 영감을 받아 수정하고 사내에서 생성한 여러 데이터 세트를 활용하여 사후 학습의 안전성에서 RAI 유해 범주를 해결했습니다. Microsoft의 독립적인 레드팀은 사후 학습 과정에서 **phi-3-mini**를 반복적으로 검토하여 개선이 필요한 부분을 추가로 파악했습니다. 이들의 피드백을 바탕으로 그들의 인사이트를 해결하기 위해 맞춤화된 데이터 세트를 큐레이션하여 사후 학습 데이터 세트를 개선했습니다. 이 프로세스를 통해 그림 3과 같이 유해한 응답률이 크게 감소했습니다.