Karatasi "Uangalifu ni wote unahitaji" alipendekeza Transformer mfano kwa mara ya kwanza, ambayo ilikuwa na athari kubwa juu ya LLM baadaye. Tafadhali kutoa wazo kuu ya msingi ya Transformer ilivyoelezwa katika karatasi hii
Context:Transformer ni mfano wa kujifunza kina ambayo inachukua utaratibu wa kujitegemea, tofauti uzito umuhimu wa kila sehemu ya data ya pembejeo. Ni hasa kutumika katika maeneo ya lugha ya asili usindikaji (NLP) na kompyuta maono (CV).  Kama mitandao ya neva inayorudiwa (RNNs), wabadilishaji wameundwa kusindika data ya kuingiza mfululizo, kama lugha ya asili, na matumizi kuelekea kazi kama vile tafsiri na muhtasari wa maandishi. Hata hivyo, tofauti na RNNs, transformers mchakato wote pembejeo wote kwa mara moja. utaratibu tahadhari hutoa mazingira kwa nafasi yoyote katika mlolongo wa pembejeo. Kwa mfano, kama data ya kuingiza ni sentensi ya lugha ya asili, transformer haina mchakato neno moja kwa wakati. Hii inaruhusu zaidi sambamba kuliko RNNs na hivyo hupunguza muda wa mafunzo.  Transformers zilianzishwa mwaka 2017 na timu ya Google Brain na zinazidi kuwa mfano wa uchaguzi kwa NLP matatizo, kuchukua nafasi ya RNN mifano kama vile muda mrefu kumbukumbu ya muda mfupi (LSTM). mafunzo ya ziada sambamba inaruhusu mafunzo juu ya seti kubwa ya data. Hii ilisababisha maendeleo ya mifumo ya kabla ya mafunzo kama vile BERT (Bidirectional Encoder Uwakilishi kutoka Transformers) na GPT (Generative Pre-mafunzo Transformer), ambayo walikuwa mafunzo na seti kubwa ya lugha ya data, kama vile Wikipedia Corpus na kawaida Crawl, na inaweza kuwa fine-tuned kwa ajili ya kazi maalum.
Karatasi hii ni ya Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. na iliyochapishwa mnamo 2017. Ni kuweka msingi kwa ajili ya baadaye GPT mfululizo wa mifano na BERT mfululizo wa mifano. Mfano wa GPT hutumia sehemu ya decoder ya Transfomer, wakati mfano wa BERT hutumia sehemu ya encoder ya Transfomer. kuu ya msingi usanifu wa mtindo Transformer ni pamoja na: Self-Attention utaratibu, msimamo Encoding, Encoder-Decoder Usanifu, Multi-Head Attension. Transformer ufanisi kutatua ngumu sambamba tatizo la awali RNN / LSTM mfano kwa kutumia Attention utaratibu. Kutumia Self-Attention hutatua tatizo la data ndogo zilizowekwa alama katika NLP. mfululizo habari katika maandishi ya kuingia ni kuhifadhiwa kwa njia ya msimbo wa msimbo. Na Multi-Head Attention inaruhusu Transformer kujifunza mifumo tofauti ya data ya mafunzo sawa na dhana ya Channel katika mtindo wa CNN.