Dǎɣ təbiɗawt ten fal əmikan ən magradan ən magradan, awa eqalan asikin ən liɣitan?
Context:Almital n awal maqqoran (LLM) eqqal almital n awal eqqalan rezo n eɣaf ilan tijililwăyen ajjotnen (alwaq iyyan biliyon tan n timɣutar meɣ ajjotnen) ijjanen fal iddikud n akatab war n ila tikma s almud n awadim LLM tan izjaran id daɣ awatay wan 2018 tolas axdaman hullan daɣ alxidmaten ajjotnen Awen assikna assahat n farak fal asimutiy n awal eɣnan ɣur almaɣna wa ezzaran n teɣare n dumu tan ijjan fal alxidmaten tiyyad  Talɣiwen Kuddeɣ as isim wan dumu n awal maqqoran war ila almaɣna n almaɣna, alwaqqan iyyad eqqal fal dumu tan n teɣare chajret ilanen iddikud n almaɣna tan fal iddikud n milyar tan meɣ ajjen LLM tan aqqalan dumu tan n ittus n almaɣna wa maqqoran daɣ alxidmaten ajjotnen ohun as aqqalan musnat i alxidmat iyyat (chund amiyiz n ta-ite, musnat n ta-ite s isim meɣ anazjum n matematik) Tamusne ən təɣirmaten atiwəjanen, ad edag ən təɣirmaten atiwəjanen, olahən sund ashəɣəl ən amərtay ən haratan (datotan, təmɣare ən amsədu, assahat ən assedən) atiwəjanen falnat, dǎɣ alməɣna waren eqel ayknan fal təwaɗen ən təwaɗen.  Kuddeɣ as iknanat teɣare fal alxidmaten šund musnat n majrad wa eynayan daɣ majrad, dumu tan n awal n eɣaf ilan teɣare d iddikud n almaɣna iknanen aɣazan ijjit n syntax d semantics n awal n awadim "Dǎɣ asiwiɗ, milhawen maqornen ən magrad saknen musnat maqornen ən aduniyat, əd adobatnen ""aditiwayan"" ajen maqornen ən salan agud ən təmotayen".  Alɣawna tan Əlkitab wa-n-izaran: Hallucination (alham atiwasanan) "Dǎɣ tayəte waren təkna dǎɣ amək, ad dǎɣ milhawen maqornen ən magrad dǎɣ atamosan, ""alɣise"" eqal alɣisaban ən assədətu waren ikna atwətkəl as haratan ən assəməsədəw ən milhawen".  Aśahaten ən təmotayen  Fal iddikud n ichiritan n awal n batil eha alxidmaten chund alwazab n asistan, dumu tan war n oɣed hullan fal alwazab har aj in iddikud n iddikud (daɣ alɣalim wen, iknan iddikud s teɣare n asidu) ɣur edag wa s tiw-ad alwazab nasan Awen amos almitalan n tudabaten ti idas nen "Igišanen wǎren adobat adiqil aygan dǎɣ əmik ən magrad maqaran mašan winan eqel atilan dǎɣ əmik ogaran aśuhu (ad winan eqel aygan dǎɣ əmik) aqalan agudiyan asitawan ""gišanen atiwəjanen"". Kel farak allaɣen as tudabaten šund tin "war addobat nat a tan ijjichan s afanaz n alxidmat n dumu tan madroynen" Aśahaten wən aqalan atiwagrawan dǎɣ edag wan atiwagan meɣ atiwagan, dǎɣ iyad tabaraten ɣas darat LLM eqal aygan fal aljamaɣat. Imaɗinan ən tadabit ən təwaƭ aqalan atiwalaɣen. Almital tan eha multi-step arithmetic, ijji n farak tan n lakkol, musnat n almaɣna n awal, chain-of-thought prompting, afissar n International Phonetic Alphabet, afissar n tiɣriwen n awal, musnat n awa eqqalan amutti daɣ paragraf tan n Hinglish (asidu n Hindi d tangilist) d iji n almaɣna olahan n tangilist n majrad wan Kiswahili  Edey d teɣare Dumu tan n awal maqqornen axdaman s transformer architecture, s ɣur awatay wan 2018 eqqalan tikarsay n teɣare chajret i isalan wi ilkamnen (s data awa, architectures chund LSTM aqqalan a oharan) LLM tan ijjan teɣare daɣ abara war n ila awadim n awadim fal akatab war n ila almaɣna Transformer wan s achrut wan s em s achrut wan s achrut wan issin eɣna i ad ikrich assahat i isim wa eynayan daɣ data tan win teɣare, s edag wa ezzaran Dǎɣ olahan, LLM adobat adiqil amitkalan ən amutayan ən əsin təmotayen (sund dǎɣ atamosan ən BERT), wa ihakan təzunawen ən ihuk fal almaɣnatan atiwafanen ye tartit tan dat əd darat. "Dǎɣ asiwiɗ ən ašəɣəl ən assənəhəj ən magrad iknanen meɣ ""assuhu ən təbiɗawt""", LLM adobatnen atwəja fal ašəɣəlan ən tədawt janen alaɣi nassan ən tazunt ən ilavitan sund assənəhəj ən tafrənt tašarat (NSP), dǎɣ amək ən assənəhəj ən təbiɗawt ad iri ad atwəja as alməɣna ən assənəhəj as aqalan atwəja jares jares dǎɣ taɣare ən assənəhəj".  LLM tan wi azzarnen iknanat teɣare fal corpora tan ilanen iddikud n milyar tan n ismawan Almital wa ezzaran daɣ OpenAI's GPT series eɣra daɣ awatay wan 2018 fal BookCorpus eha 985 n milyon n awal Dǎɣ awatay wendǎɣ, BERT ataqal aygan fal tartit tan BookCorpus əd wikipédia tan anglais, dakalnen 3,3 milliartan ən magradan. Daɣ iwityan win darat awa, corporate tan win teɣare i LLM tan idwalan s iddikud n iddikud, ewadnen timad n milyar tan meɣ trillion tan n tokens  LLM tan aqqalan a assohen daɣ teɣare Teɣare ən 2020 təna as alhak ən assəməsədəw ən milhaw ən 1,5 milliartan ən milhawən (1-2 ogdahən ən təmɣare ogaran təmidrit ye amək ən tamusne ən azaman) as 1.6 milliontan ən dollars.  Umaɣ ən 2020 ijraw as tadabit ən iritan ən magradan ən magradan (as eket ən assəməsədu ən assəməsədu) assənta assuhu dǎɣ tartit ən ašareɣa ən assahat ən maɗinan ən milhaw, ən amsədu ən ihukan ən assəməsədu, ad assedən atiwətkalən ye assəməsədu. Iharojan wən aqalan atiwaraman fal anilkam maqaran ən alɣisaban (wa ogaran saɗis əmikan ən magnitude) əd wala iyan asimutiy ən iharojan dǎɣ samando wa ogaran təmɣire ən anilkam (atamosan fal təmɣire tan rezo har trilyonetan ən alɣisaban).  Alxidmat tan win darat awa Gar 2018 əd 2020, təmusne taqalat atiwasanan fal adakal ən LLM fal əšiɣil iyan ən asimutiy ən magrad imanes (NLP) taqal adigiš ən əmik dər asiwiɗ ən asiwiɗ ən əšiɣil iyan. "Aqalan atiwagrawan darat awen as LLM wi ogarnen aśuhu sund GPT-3 adoben aliɣi ən əšiɣilan dǎɣ iba ən təmotayen ogarnen aśuhu fal əšiɣilan ən ""agaraw"", dǎɣ awen əšiɣil wa atwagrawan eqalan atiwafan dǎɣ əmik sund əšiɣil ən əmik, adobatnen adiqilan ayertayan dǎɣ əšiɣilan ən əšiɣilan olahnen əd adabaratan nasan".  Aɣeš n afanaz Əlkitab wa-s-itawanna Fine-tuning (tamusne ən maršin) Awen eqqal alxidmat n amutti n dumu n awal eɣnan s data s teɣare net (daɣ almaɣna n awadim) fal alxidmat n musnat (almital amiyiz n ta-ite, musnat n eɣanni s isim, megh tagging n achrut n majrad) Eqqal dumu n transfer learning Ahan edag ən tartit ta taynayat ən alɣisaban wi taganen təmuqunt tan samando ən magrad ən adabaratan ən əšiɣil wa ogaran təmɣire. "Tifert tan ezzaran n dumu n awal addobat a ti "addarmad", chund as layer eynayan n tifert tan wi osaɣan id intaj ijjan daɣ teɣare" Dǎɣ əmik iyan, aśiśuhu ən santo adobat agaraw ən təmotayen əndaratnen (adobatnen adiqilan ayertayan dǎɣ təbiɗawen azarnen amiskalan).  Awen eɣna id Akayad deɣ: təmuqunt taśohet ad almud ən təbiɗawt (təmusne ən magrad iknan) Dǎɣ təmuzuyt ən təwaƭ, atiwasanan fal GPT-3, əšiɣil wa daqalan adizgaran eqalan aygan fal təwaƭ ən əmik, wa əmik adiqil adizgaran dǎɣ ihuk ən samando (dǎɣ təwaƭ). "Dǎɣ ""adakal ən harat ən tabarat"",adakal eqal iyan hadi ən milhawen ən tartiten olahnen (ašahat, adabara)". Dǎɣ olahan, əšiɣil wan asiwiɗ ən əmik ən asinihigi ən əmik wan asiwiɗ ən silma adobat adiqilan atiwagan sund:  Əlkəttab: silma taqal ayknan. Almaɣna: war eha ach-ak  Anuzgum: silma taqal ahusken! Almaɣna:  A fal dumu izjar id "positive", dihen ifnaš alxidmat s tiditt Daɣ zero-shot prompting, war ti illa almital tan n amukin Almital n almital n zero-shot i alxidmat n amiyiz n ta-ite taqqal: "ta-ite osaɣ id akayad n film 'Film wen eqqal a olaɣan'"  Assahat ən LLM dǎɣ əmik winan eqel aśohen eqal atiwagrawan fal agaraw ən liɣitan ogdahnen fal əšiɣilan ən NLP, agudiyan ogaran təmusnawen ən təmotayen ti azarnen ən təmotayen ogarnen aśuhu. Almital tan n alxidmaten tin NLP aqqalan afissar, alwazab n asistan, alxidmaten tin cloze, afissar n ismawan d axadam n isim eynayan daɣ majrad Eɣanni ad afanaz ən isalan wən eqal atiwaɣran fal musnat ən isalan.  Asimutiy ən liɣitan Anmirtay wan isalan eqqal dumu n anmirtay olaɣan i ad issiwid hullan tolas oɣadan zero-shot eway id anmirtay Dǎɣ ugiš ən magrad, əmik ən magrad atiwazayan adiqil aygan dǎɣ samando taganen təzune ən magrad fal atiwazayan. Almital n awal wa eɣnan i " akatab n majrad fal haratan wi maqqornen n Hamlet" addobat ad ijji akayad chund " amchikki n 10% daɣ achal iyyan a itaj fal isuj ijraw nen darat ayor wan karad daɣ awzem wan karad" Daɣ instruction tuning, dumu n awal eɣra s almital tan ajjotnen n alxidmaten ijjan s majrad n awal eɣnan id alwazab tan oɣadnen Tikarsiwen ajjotnen i amukin n isalan at w axdam nat daɣ alxidmat OpenAI's InstructGPT protocol ehay awikkal n awikkal n data fal data tan n addinat idayan (aw-ad, alwazab) n sanatat, ilkam i teɣare n assahat fal feedback n awadim (RLHF) s inta a eɣra alxidmat n alfayda ijjan fal data tan n nefran n awadim Təmusne iyat, ""atiwəɣran imanes"", təzəjrət əmik ən magrad fal tartit ən milhawən ən assəɣar atiwəjan intanedǎɣ as LLM (atwagrawan as tartit tazarat ən milhawən atiwəjan as adinat).  Almital n awal maqqoran
Anmirtay wan isalan eqqal dumu n anmirtay olaɣan i ad issiwil hullan tolas oɣadan zero-shot eway id anmirtay