Əlkitab "Attention is all you need" iga aniyat wan əmik wan Transformer fal wadazaran ugud, wa ilan təwaƭ tan aśohen fal LLM. Dǎɣ awa atiwalaɣen dǎɣ əlkitab, alil ən aniyat wa maqaran ən Transformer.
Context:Transformer eqqal dumu n teɣare chajret ijjanen tikarsay n akayad fal iman net, s anmizlay n assahat n achrut fuk n isalan win ijjuch Atiwətkal hulen dǎɣ idagan ən assəməsədəw ən magrad iknan (NLP) ad ahanay ən ordinateur (CV).  Chund rezo tan n eɣanni tan (RNNs), transformer tan ijjan i amukin n isalan wi idasnen chund awal n batil s aplikasyon tan i alxidmaten chund afissar d afissar n majrad Hak id ijja awen, a anmazlayan id RNN tan, transformer tan aqqad nat id data fuk daɣ alwaq iyyan Əmik wan aniyat ihaku almaɣna ən edag dak dǎɣ anilkaman ən ugiš. Dǎɣ olahan, afal isalan wi dazarnen aqalnen əmik ən magrad atiwasan, transformateur winan ilkem ye ugiš ən magrad iyan dǎɣ alwaq. Awen ijraw s parallelisation hullan fal RNN tan tolas afanaz alwaq wan teɣare  Transformers aqalan adizgaran dǎɣ 2017 fal tartit tan Google Brain əd aqalan ogaran aśuhu ən əmik wa atiwagan fal asibaban ən NLP, dǎɣ aśuhu ən əmikan ən RNN atamosnen atwizay ən tarha ən tarha ən alwaq wa ogaran aśuhu (LSTM). Alɣisaban wən asiwiɗ ən təmotayen ogarnen aśahat ən təmotayen fal haratan ogarnen təmɣire. Awen eraw id efes n sistem tan s kala kala ijja teɣare chund BERT (Bidirectional Encoder Representations from Transformers) d GPT (Generative Pre-trained Transformer) s kala iknan teɣare s isuj n isalan maqqornen chund Wikipedia Corpus d Common Crawl tolas addoben a tan ijjichan i alxidmaten tiyyad
Alkad wen ijja Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia tolas ijja daɣ awatay wan 2017 Eqal santo ən əmik wan GPT əd əmik wan BERT. Əmik ən GPT amitkalan tasaga tan decoder ən Transfomer, agudendǎɣ əmik ən BERT amitkalan tasaga tan encoder ən Transfomer. Edey wa maqqoran n dumu wan Transformer ehay: Self-Attention Mechanism, Positional Encoding, Encoder-Decoder Architecture, Multi-Head Attension Transformer ifnaz muchakil assohen n Parallel wan RNN/LSTM wan aru s axadam n mekanizm wan Attention Atkul ən aniyat ən iman alil adabara ən asostanan atiwazaynen dǎɣ NLP. Isalan win iddikud daɣ akatab wan ijjuch iknan aɣazan s Positional Encoding Dᾰɣ awa-s-itawanna Multi-Head Attention ehᾰl Transformer a-s-itawaɗᾰn əmikan ᾰddinᾰt ᾰjjootnen olahnen əd əmmək wa-s-itawaɗᾰn Channel fᾰl awa-s-itawanna CNN.