以下是我找到的一些自编码预训练语言模型：

- BERT
- MASS
- UNILM
- ERNIE1.0
- ERNIE(THU)
- MTDNN
- ERNIE2.0
- SpanBERT
- RoBERTa
 ต่อไปนี้คือโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าที่เข้ารหัสอัตโนมัติบางส่วนที่ฉันพบ: - BERT - MASS - UNILM - ERNIE1.0 - ERNIE(THU) - MTDNN - ERNIE2.0 - SpanBERT - RoBERTa
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence