GPT-3 è un modello di linguaggio basato sull'architettura del transformer, pre-addestrato in modo generativo e senza supervisione che mostra prestazioni buone in situazioni con zero/uno/pochi esempi mostrati in input. Funziona prevedendo il token (una parola o parte di una parola) successivo data una sequenza di token e può farlo per attività di PNL su cui non è stato addestrato. Dopo aver visto solo alcuni esempi, ha raggiunto livelli all'avanguardia in alcuni benchmark come la traduzione automatica, le domande e risposte e le attività cloze.

GPT-3 è stato addestrato con enormi set di dati di testo Internet: 570 GB in totale. Quando è stato rilasciato, era la più grande rete neurale con 175 miliardi di parametri (100x GPT-2). Ancora oggi è la più grande rete neurale densa, superata solo da modelli sparsi come il transformer Wu Dao 2.0.
GPT-3 เป็นโมเดลภาษาแบบไม่มีผู้ดูแลที่ใช้สถาปัตยกรรมหม้อแปลงไฟฟ้า ได้รับการฝึกอบรมล่วงหน้าโดยทั่วไป ซึ่งแสดงประสิทธิภาพที่ดีในสถานการณ์โดยมีตัวอย่างศูนย์/หนึ่ง/สองสามตัวอย่างแสดงในอินพุต ทำงานโดยการทำนายโทเค็นถัดไป (คำหรือส่วนหนึ่งของคำ) โดยเรียงลำดับโทเค็น และสามารถทำสิ่งนี้ได้สำหรับงาน NLP ที่ยังไม่ได้รับการฝึกอบรม หลังจากดูตัวอย่างบางส่วน ก็ประสบความสำเร็จในระดับที่ล้ำสมัยในการวัดประสิทธิภาพบางอย่าง เช่น การแปลด้วยคอมพิวเตอร์ การถามตอบ และงานปิดบัง GPT-3 ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลข้อความอินเทอร์เน็ตขนาดใหญ่ รวมทั้งหมด 570 GB เมื่อเปิดตัว มันเป็นโครงข่ายประสาทเทียมที่ใหญ่ที่สุดด้วยพารามิเตอร์ 175 พันล้านพารามิเตอร์ (100x GPT-2) แม้กระทั่งในปัจจุบันนี้ ยังเป็นโครงข่ายประสาทเทียมที่มีความหนาแน่นมากที่สุด แซงหน้าโมเดลแบบเบาบาง เช่น หม้อแปลง Wu Dao 2.0 เท่านั้น
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence