Warqadda "Fiiro gaar ah ayaa ah waxa kaliya ee aad u baahan tahay" ayaa soo jeedisay qaabka Transformer markii ugu horreysay, taas oo saameyn weyn ku yeelatay LLM-da dambe. Fadlan noo sheeg fikradaha asaasiga ah ee Transformer ee lagu sharaxay qoraalkan
Context:Transformer waa nooc waxbarasho oo qoto dheer kaas oo qaata habka is-fiirinta, oo si kala duwan u miisaamaya muhiimada qayb kasta oo xogta la galo. Waxaa inta badan loo isticmaalaa dhinacyada howsha luqadda dabiiciga ah (NLP) iyo aragtida kombiyuutarka (CV).  Sida shabakadaha neerfaha ee soo noqnoqda (RNNs), qalabka wax lagu beddelo waxaa loogu talagalay in lagu farsameeyo xogta soo gelinta isku xigxiga, sida luqadda dabiiciga ah, iyadoo la adeegsanayo codsiyada hawlaha sida tarjumaadda iyo soo koobidda qoraalka. Si kastaba ha noqotee, si ka duwan RNNs, qalabka wax lagu beddelo ayaa si wada jir ah u farsameeya dhammaan xogta hal mar. Farsamaynta dareenka waxay bixisaa macnaha guud ee boos kasta oo ku jira taxanaha wax soo gelinta. Tusaale ahaan, haddii xogta la soo geliyo ay tahay weedh ku qoran luuqad dabiici ah, qalabka wax bedelka ahi uma baahna in uu erey kasta mar ka baaraandego. Tani waxay u oggolaaneysaa isku dheelitirnaan ka badan RNNs sidaas darteedna waxay yareysaa waqtiyada tababarka.  Transformers waxaa la soo bandhigay 2017 koox ka tirsan Google Brain waxayna si isa soo taraysa u noqonayaan qaabka loo doorto dhibaatooyinka NLP, iyagoo badalaya moodooyinka RNN sida xusuusta muddada-gaaban ee dheer (LSTM). Isbarbar dhigga tababarka dheeraadka ah wuxuu u oggolaanayaa tababarka xogta weyn. Tani waxay keentay in la horumariyo nidaamyada horay loo tababaray sida BERT (Wax ka beddelidda Encoder laba-geesoodka ah ee Transformers) iyo GPT (Generative Pre-trained Transformer), kuwaas oo lagu tababbaray xog-ururinta luuqadaha waaweyn, sida Wikipedia Corpus iyo Common Crawl, waxaana loo hagaajin karaa hawlo gaar ah.
Qoraalkan waxaa qoray Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. waxaana la daabacay 2017. Waxay aasaaska u dhigtay taxanaha GPT ee soo socda iyo taxanaha BERT ee moodooyinka. Qaabka GPT wuxuu isticmaalaa qeybta decoder-ka ee Transfomer, halka qaabka BERT uu isticmaalo qeybta encoder-ka ee Transfomer. Qaab dhismeedka asaasiga ah ee moodeelka Transformer waxaa ka mid ah: Mechanism Self-Attention Mechanism, Encoding Positional, Encoder-Decoder Architecture, Multi-Head Attension. Transformer wuxuu si wax ku ool ah u xaliyaa dhibaatada adag ee isku midka ah ee RNN / LSTM ee hore iyadoo la adeegsanayo farsamada dareenka. Isticmaalka Is-Xag-jirka wuxuu xaliyaa dhibaatada Xisaabaadka Xaddidan ee NLP. Macluumaadka isku xigxiga ee qoraalka la geliyay waxaa lagu kaydiyaa habka loo yaqaano Positional Encoding. Multi-Head Attention wuxuu Transformer u ogolaanayaa in uu barto qaabab kala duwan oo xogta tababarka ah oo lamid ah qaabka Channel-ka ee CNN.