Safety in PretrainingAligning with standard pretraining data safety practices [5; 58; 77], we build a set of filters based on heuristic rules, keyword matching, and learned classifiers to remove text containing personal identifiers and private data, and reduce sexual, violent, and extremist content.
사전 학습 안전. 표준 사전 학습 데이터 안전 관행[5; 58; 77]에 따라 heuristic 규칙, keyword matching 및 학습된 classifier를 기반으로 개인 식별자 및 개인 데이터가 포함된 텍스트를 제거하고 성적, 폭력적, 극단주의 콘텐츠를 줄이기 위한 filter 세트를 구축합니다.
사전 학습 안전표준 사전 학습 데이터 안전 관행[5; 58; 77]에 따라 휴리스틱 규칙, 키워드 매칭 및 학습된 분류기를 기반으로 개인 식별자 및 개인 데이터가 포함된 텍스트를 제거하고 성적, 폭력적, 극단주의 콘텐츠를 줄이기 위한 필터 세트를 구축합니다.