Iroyin naa "Attention is all you need" ni o dabaa awoṣe Transformer fun igba akọkọ, eyiti o ni ipa ti o jinlẹ lori LLM ti o tẹle. Jọwọ fun awọn akọkọ agbedemeji ero ti Transformer apejuwe ninu yi iwe
Context:Àdàkọ ìyípadà jẹ́ àdàkọ ìmúdàgba tí ó gba ìlànà ìmúdàgba-ara ẹni, tí ó ń fi ìyàtọ̀ sí ìjẹ́pàtàkì apá kọ̀ọ̀kan nínú àwọn ìsọfúnni tí ó wọlé. A lo ni akọkọ ni awọn aaye ti sisẹ ede adayeba (NLP) ati wiwo kọmputa (CV).  Gẹgẹbi awọn nẹtiwọọki nẹtiwọọki nẹtiwọọki nẹtiwọọki (RNNs), a ṣe apẹrẹ awọn iyipada lati ṣe ilana data titẹ sii lẹsẹsẹ, gẹgẹbi ede adayeba, pẹlu awọn ohun elo si awọn iṣẹ bii itumọ ati akopọ ọrọ. Àmọ́, ní ìyàtọ̀ sí àwọn RNN, àwọn transformer máa ń ṣe gbogbo ìsọfúnni tí wọ́n bá fún wọn lẹ́ẹ̀kan ṣoṣo. Ẹ̀rọ ìṣójútó máa ń pèsè àyíká fún ipò èyíkéyìí nínú ìtòlẹ́sẹẹsẹ ìsọfúnni. Bí àpẹẹrẹ, bí ìsọfúnni tí wọ́n ń gbà wọlé bá jẹ́ ọ̀rọ̀ èdè àbínibí, kò dìgbà tí alárinà bá ṣe àtúnṣe ọ̀rọ̀ kan lẹ́ẹ̀kan. Eyi jẹ ki o ṣe afiwe diẹ sii ju awọn RNNs ati nitorinaa dinku awọn akoko ikẹkọ.  A ṣe afihan awọn iyipada ni ọdun 2017 nipasẹ ẹgbẹ kan ni Google Brain ati pe o n di pupọ si awoṣe ti o yan fun awọn iṣoro NLP, rirọpo awọn awoṣe RNN gẹgẹbi iranti igba kukuru gigun (LSTM). Àfikún ìdánilẹ́kọ̀ọ́ ìfọwọ́sowọ́pọ̀ jẹ́ kí ìdánilẹ́kọ̀ọ́ lórí àwọn ìsọfúnni tí ó tóbi. Eyi mu ki idagbasoke awọn eto ti a ti kọ tẹlẹ bi BERT (Awọn aṣoju Encoder Bidirectional lati Transformers) ati GPT (Generative Pre-trained Transformer), eyiti a kọ pẹlu awọn akojọ data ede nla, gẹgẹbi Wikipedia Corpus ati Common Crawl, ati pe a le ṣe atunṣe daradara fun awọn iṣẹ-ṣiṣe kan pato.
Iwadi yii jẹ nipasẹ Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. ati ti a tẹjade ni ọdun 2017. Ó fi ìpìlẹ̀ lélẹ̀ fún ẹ̀ka GPT tí ó tẹ̀lé e àti ẹ̀ka BERT tí ó tẹ̀lé e. Awoṣe GPT nlo apakan decoder ti Transfomer, lakoko ti awoṣe BERT nlo apakan encoder ti Transfomer. Awọn pataki pataki faaji ti awọn Transformer awoṣe pẹlu: Self-Attention Mechanism, ipo Encoding, Encoder-Decoder faaji, Multi-Head Attension. Transformer ni o munadoko yanju awọn nira pẹlẹpẹlẹ isoro ti awọn ti tẹlẹ RNN / LSTM awoṣe nipa lilo awọn Ifarabalẹ ilana. Lílo Ìtọ́jú-ara-ẹni yanjú ìṣòro tí a fi àmì sàmì sí nínú NLP. Alaye ilana ninu ọrọ titẹsi ni a tọju nipasẹ Akojọpọ Ipo. Ati Multi-Head Attention gba Transformer laaye lati kọ awọn ilana oriṣiriṣi ti data ikẹkọ ti o jọra si imọran ikanni ni awoṣe CNN.