预训练语言模型是指先通过一批语料进行训练模型，然后在这个初步训练好的模型基础上，再继续训练或者另作他用的一种语言模型。
โมเดลภาษาที่ได้รับการฝึกล่วงหน้าหมายถึงโมเดลภาษาที่ฝึกโมเดลผ่านชุดคลังข้อมูลในขั้นแรก จากนั้นจึงฝึกต่อไปหรือใช้เพื่อวัตถุประสงค์อื่นโดยอิงตามโมเดลที่ได้รับการฝึกขั้นต้นนี้
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence