पेपर "अटेंशन इज ऑल यू नीड" ने पहली बार ट्रांसफॉर्मर मॉडल का प्रस्ताव दिया, जिसका बाद के एलएलएम पर गहरा प्रभाव पड़ा। कृपया इस पेपर में वर्णित ट्रांसफार्मर का मुख्य विचार देंएक ट्रांसफार्मर एक गहन शिक्षण मॉडल है जो आत्म-ध्यान के तंत्र को अपनाता है, इनपुट डेटा के प्रत्येक भाग के महत्व को अलग-अलग भारित करता है। इसका मुख्य रूप से प्राकृतिक भाषा प्रसंस्करण (एनएलपी) और कंप्यूटर दृष्टि (सीवी) के क्षेत्र में उपयोग किया जाता है।

आवर्तक तंत्रिका नेटवर्क (आरएनएन) की तरह, ट्रांसफॉर्मर अनुक्रमिक इनपुट डेटा को संसाधित करने के लिए डिज़ाइन किए गए हैं, जैसे प्राकृतिक भाषा, अनुवाद और पाठ सारांश जैसे कार्यों के अनुप्रयोगों के साथ। हालाँकि, RNN के विपरीत, ट्रांसफॉर्मर पूरे इनपुट को एक साथ प्रोसेस करते हैं। ध्यान तंत्र इनपुट अनुक्रम में किसी भी स्थिति के लिए संदर्भ प्रदान करता है। उदाहरण के लिए, यदि इनपुट डेटा एक प्राकृतिक भाषा वाक्य है, तो ट्रांसफॉर्मर को एक समय में एक शब्द को संसाधित करने की आवश्यकता नहीं होती है। यह आरएनएन की तुलना में अधिक समांतरता की अनुमति देता है और इसलिए प्रशिक्षण के समय को कम करता है।

ट्रांसफॉर्मर 2017 में Google ब्रेन की एक टीम द्वारा पेश किए गए थे और तेजी से एनएलपी समस्याओं के लिए पसंदीदा मॉडल बन रहे हैं, आरएनएन मॉडल जैसे लॉन्ग शॉर्ट-टर्म मेमोरी (एलएसटीएम) की जगह ले रहे हैं। अतिरिक्त प्रशिक्षण समांतरता बड़े डेटासेट पर प्रशिक्षण की अनुमति देता है। इसके कारण बीईआरटी (ट्रांसफॉर्मर्स से बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन) और जीपीटी (जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर) जैसी पूर्व-प्रशिक्षित प्रणालियों का विकास हुआ, जिन्हें विकिपीडिया कॉर्पस और कॉमन क्रॉल जैसे बड़े भाषा डेटासेट के साथ प्रशिक्षित किया गया था और यह ठीक-ठाक हो सकता है- विशिष्ट कार्यों के लिए ट्यून किया गया।
ट्रांसफॉर्मर का मुख्य विचार है कि यह एक गहन शिक्षण मॉडल है जो आत्म-ध्यान के तंत्र को अपनाता है और इनपुट डेटा के प्रत्येक भाग के महत्व को अलग-अलग भारित करता है। यह प्राकृतिक भाषा प्रसंस्करण और कंप्यूटर दृष्टि के क्षेत्र में उपयोग किया जाता है। इसके अलावा, ट्रांसफॉर्मर अनुक्रमिक इनपुट डेटा को संसाधित करने के लिए डिज़ाइन किए गए हैं और आवर्तक तंत्रिका नेटवर्क की तरह काम करता है। यह आरएनएन की तुलना में अधिक समांतरता की अनुमति देता है और प्रशिक्षण के समय को कम करता है। गूगल ब्रेन की एक टीम द्वारा विकसित किए गए ट्रांसफॉर्मर मॉडल में बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन और जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर जैसी पूर्व-प्रशिक्षित प्रणालियों का विकास हुआ था।