1. BERT (Bidirectional Encoder Representations from Transformers) गूगल द्वारा विकसित एक शक्तिशाली पूर्व-प्रशिक्षित मॉडल है जो भावना विश्लेषण, पाठ वर्गीकरण और भाषा अनुवाद जैसे प्राकृतिक भाषा प्रसंस्करण कार्यों के लिए उपयोग किया जाता है; 2. GPT (Generative Pre-Trained Transformer) ओपनएआई द्वारा विकसित एक पूर्व-प्रशिक्षित मॉडल है जो मानव-जैसे पाठ उत्पन्न करने में उत्कृष्टता प्राप्त करता है और पाठ उत्पादन, पाठ पूर्ति और पाठ भविष्यवाणी जैसे कार्यों के लिए उपयोग किया जा सकता है; 3. ELMO (एम्बेडिंग लैंग्वेज मॉडल) एलन इंस्टीट्यूट द्वारा एआई के लिए विकसित एक पूर्व-प्रशिक्षित मॉडल है जो संदर्भबद्ध शब्द एम्बेडिंग बनाता है।
प्राकृतिक भाषा प्रसंस्करण के लिए तीन प्रकार के पूर्व-प्रशिक्षित मॉडल सूचीबद्ध करें।