Precedentemente lo stato dell'arte per i modelli linguistici della NLP erano i modelli RNN che elaborano le parole in sequenza, nell'ordine in cui appaiono nel contesto, una parola alla volta. Di conseguenza, questi modelli sono difficili da parallelizzare e poveri nel mantenere le relazioni contestuali attraverso lunghi input di testo che, nel contesto della NLP, è fondamentale.

Il Transformer, un modello introdotto nel 2017, aggira questi problemi. I trasformatori utilizzano un meccanismo di attenzione, che "presta attenzione" alle parole più utili per prevedere la parola successiva in una frase. Con questi meccanismi di attenzione, i Transformers elaborano una sequenza di input di parole tutte in una volta e mappano le dipendenze rilevanti tra le parole indipendentemente dalla distanza tra le parole appaiono nel testo. Di conseguenza, i Transformer sono altamente parallelizzabili, possono addestrare modelli molto più grandi a una velocità maggiore e utilizzare indizi contestuali per risolvere molti problemi di ambiguità che affliggono il testo.

I modelli più usati ad oggi si basano su questa architettura. Questi sono BERT, bidirezionale, e GPT, unidirezionale.
Fino a pochi anni fa BERT era il più utilizzato ma grazie principalmente all'aumento massiccio delle dimensioni dei modelli e dei dataset con cui allenarli il secondo approccio sta avendo molta più popolarità.
ก่อนหน้านี้ความทันสมัยของโมเดลภาษา NLP คือโมเดล RNN ที่ประมวลผลคำตามลำดับตามลำดับที่ปรากฏในบริบท ครั้งละหนึ่งคำ เป็นผลให้โมเดลเหล่านี้ขนานกันได้ยากและไม่ดีในการรักษาความสัมพันธ์ตามบริบทในการป้อนข้อความขนาดยาว ซึ่งในบริบทของ NLP นั้นมีความสำคัญ Transformer ซึ่งเป็นรุ่นที่เปิดตัวในปี 2560 สามารถแก้ไขปัญหาเหล่านี้ได้ Transformers ใช้กลไกความสนใจซึ่งจะ "ให้ความสนใจ" กับคำที่มีประโยชน์ที่สุดในการคาดเดาคำถัดไปในประโยค ด้วยกลไกความสนใจเหล่านี้ Transformers จะประมวลผลลำดับการป้อนข้อมูลของคำทั้งหมดพร้อมกันและแมปการขึ้นต่อกันที่เกี่ยวข้องระหว่างคำ โดยไม่คำนึงว่าคำที่ปรากฏในข้อความจะอยู่ห่างกันเพียงใด ด้วยเหตุนี้ Transformers จึงมีความขนานกันสูง สามารถฝึกโมเดลที่มีขนาดใหญ่กว่ามากด้วยความเร็วที่มากขึ้น และใช้เบาะแสตามบริบทเพื่อแก้ไขปัญหาความคลุมเครือมากมายที่รบกวนข้อความ โมเดลที่ใช้มากที่สุดในปัจจุบันอิงตามสถาปัตยกรรมนี้ เหล่านี้คือ BERT แบบสองทิศทาง และ GPT แบบทิศทางเดียว จนกระทั่งไม่กี่ปีที่ผ่านมา BERT ถูกใช้มากที่สุด แต่ต้องขอบคุณการเพิ่มขึ้นอย่างมากในขนาดของแบบจำลองและชุดข้อมูลที่ใช้ในการฝึกฝน แนวทางที่สองจึงได้รับความนิยมมากขึ้น
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence