Marka la eego cutubyada ku saabsan tusaalooyinka luqadaha waawayn, qaab dhismeedka shabakada dareemayaasha ee caanka ah ee ay ku salaysan yihiin?
Context:Qaabka luqada weyn (LLM) waa qaab luqadeed oo ka kooban shabakad neerfaha ah oo leh tiro badan oo astaamo ah (sida caadiga ah balaayiin miisaan ah ama ka badan), oo lagu tababbaray tiro badan oo qoraal ah oo aan la calaamadeyn iyadoo la adeegsanayo barashada is-kormeerka. LLMs waxay soo baxeen qiyaastii 2018 waxayna si fiican u qabtaan hawlo kala duwan. Tani waxay u weecisay diiradda cilmi baarista howsha howsha luqadda dabiiciga ah ee ka soo jeeda qaabkii hore ee tababarka moodooyinka la kormeero ee khaaska ah ee hawlaha gaarka ah.  Waxyaabaha ay leedahay Inkastoo ereyga model luqadda weyn ma laha qeexitaan rasmi ah, waxaa inta badan waxaa loola jeedaa daydo waxbarasho qoto dheer isagoo tirada dhimaya on amarka bilyan ama in ka badan. LLMs waa moodooyinka ujeedada guud ee ku fiican hawlaha kala duwan, oo ka soo horjeeda in loo tababaray hal shaqo oo gaar ah (sida falanqaynta dareenka, aqoonsiga hay'adda la magacaabay, ama sababaynta xisaabta). Xirfadaha ay ku qabtaan hawlaha, iyo hawlaha kala duwan ee ay awoodaan, waxay u muuqdaan inay yihiin shaqo ka mid ah tirada ilaha (xogta, cabbirka xaddidan, awoodda xisaabinta) ee loo qoondeeyay iyaga, hab aan ku xirnayn horumar dheeraad ah oo ku saabsan naqshadeynta.  Inkastoo lagu tababaray hawlo fudud sida saadaalinta erayga xiga ee jumlada, moodooyinka luqadda neerfaha oo leh tababar ku filan iyo tirinta astaamaha ayaa la ogaaday inay qabsadaan inta badan qaababka iyo macnaha luqadda aadanaha. Waxaa intaa dheer, moodooyinka luuqadaha waaweyn waxay muujiyaan aqoon guud oo ku saabsan adduunka, waxayna awoodaan inay "xasuustaan" xaqiiqooyin badan inta lagu jiro tababarka.  Waxyaabaha aan caadiga ahayn Maqaalka ugu weyn: Hallucination Sirdoonka macmalka ah guud ahaan, iyo qaabka luuqada weyn gaar ahaan, "hallucination" waa jawaab kalsooni leh oo aan u muuqan in lagu caddeeyo xogta tababarka qaabka.  Awoodaha soo baxaya  Tiro ka mid ah tijaabooyinka luqadda dabiiciga ah ee ku lug leh hawlaha sida su'aalaha iyo jawaabaha, moodooyinka ma qabtaan wax ka fiican fursad nasiib ah ilaa ay ka gaaraan qiyaas gaar ah (kiiskan, waxaa lagu qiyaasay xisaabinta tababarka), markaasoo waxqabadkoodu si aad ah u kordho. Kuwani waa tusaalooyin tayo leh oo soo baxaya. Awoodaha aan la saadaalin karin ee lagu arkay moodooyinka waaweyn ee luqadda laakiin aan ku jirin moodooyinka fudud (oo aan si cad loogu qorsheynin moodeelka) waxaa badanaa loo yaqaan "awoodaha soo baxaya". Cilmi baadhayaashu waxay sheegaan in awoodahaas "aan la saadaalin karin iyadoo si fudud loo eegayo sida ay u shaqeeyaan waxyaalaha yaryar". Awoodahaas waxaa la ogaadaa halkii laga dejin lahaa ama loo qorsheyn lahaa, xaaladaha qaarkood kaliya ka dib markii LLM si dadweyne loo adeegsado. Boqolaal awoodood oo soo ifbaxaya ayaa la tilmaamay. Tusaalooyinka waxaa ka mid ah xisaabinta dhowr-tallaabo, qaadashada imtixaannada heerka kulliyadda, aqoonsashada macnaha la doonayo ee ereyga, silsiladda fikirka ee la doonayo, kala-saarista xarfaha xarfaha caalamiga ah, kala-saarista xarfaha ereyga, aqoonsashada waxyaabaha gardarrada ah ee ku jira cutubyada Hinglish (isku-darka Hindi iyo Ingiriisiga), iyo abuurista Ingiriis isku mid ah oo u dhiganta maahmaahyada Kiswahili.  Qaab dhismeedka iyo tababarka Moodooyinka luuqadaha waaweyn ayaa sida caadiga ah u isticmaalay qaab dhismeedka beddelaha, kaas oo, tan iyo 2018, uu noqday farsamada barashada qoto dheer ee caadiga ah ee xogta isku xigxiga (hore, qaab dhismeedka soo noqnoqda sida LSTM ayaa ahaa kuwa ugu badan). LLM-yada waxaa loo tababaray si aan la kormeerin oo ku saabsan qoraalka aan la sharraxin. Qalabka wax lagu beddelo ee bidix ilaa midig waxaa loo tababaray si loo kordhiyo suurtagalnimada ereyga xiga ee xogta tababarka, marka la eego macnaha hore. Haddii kale, LLM wuxuu isticmaali karaa beddelaad laba-dhinac ah (sida tusaalaha BERT), kaas oo u xilsaaraya qaybinta suurtagalnimada ereyada la siiyay marin u helka labadaba hore iyo kan xiga. Marka lagu daro hawsha saadaalinta erayga xiga ama "buuxinta meelaha bannaan", LLMs waxaa lagu tababaran karaa howlo kaabayaal ah oo tijaabinaya fahamkooda qaybinta xogta sida saadaalinta weedhaha xiga (NSP), taas oo lammaaneyaal weedho ah la soo bandhigo oo moodelku u baahan yahay inuu saadaaliyo inay ku soo muuqan doonaan dhinacba dhinacba koorsada tababarka.  LLMs-kii ugu horeeyay waxaa lagu tababaray corpora oo leh bilyan oo eray. Moodeelkii ugu horreeyay ee taxanaha OpenAI ee GPT waxaa lagu tababbaray 2018 on BookCorpus, oo ka kooban 985 milyan oo eray. Isla sanadkaas, BERT waxaa lagu tababaray isku darka BookCorpus iyo Ingiriisiga Wikipedia, wadar ahaan 3.3 bilyan oo erey. sanadihii ugu danbeeyay, kooxaha tababarka ee LLM-yada ayaa kor u kacay tiradooda, waxay gaareen boqolaal bilyan ama tiriliyan oo shati ah.  LLM waa qaali xisaab ahaan lagu tababaro. Daraasad la sameeyay 2020 ayaa lagu qiyaasay qiimaha tababarka 1.5 bilyan oo moodel oo astaamo ah (1-2 amar oo ka yar heerka farshaxanka waqtigaas) $ 1.6 milyan.  Falanqaynta 2020 waxay ogaatay in awoodda moodooyinka luqadda neerfaha (sida lagu cabiray luminta tababarka) ay si habsami leh ugu kordhay xiriir sharci awood leh oo leh tirada xuduudaha, tirada xogta tababarka, iyo xisaabinta loo adeegsaday tababarka. Xiriiradaas waxaa lagu tijaabiyay qiimo aad u ballaaran (illaa toddobo amar oo baaxad ah) lagumana arag wax yareyn ah oo xiriirka ah dhamaadka ugu sarreeya ee baaxadda (oo ay ku jiraan cabirka shabakadda illaa trillions of parameters).  Codsiga hawlaha hoos loo dhigo Inta u dhaxaysa 2018 iyo 2020, habka caadiga ah ee loo adeegsado LLM ee howsha gaarka ah ee habka luqadda dabiiciga ah (NLP) waxay ahayd in lagu hagaajiyo qaabka tababarka howsha gaarka ah ee dheeraadka ah. Kadib waxaa la ogaaday in LLMs ka awood badan sida GPT-3 ay xallin karaan howlaha iyada oo aan la siin tababar dheeraad ah iyada oo loo marayo farsamooyinka "wacyi gelinta", taas oo dhibaatada la xallinayo lagu soo bandhigo qaabka qoraalka, laga yaabee tusaalooyin qoraal ah oo dhibaatooyin la mid ah iyo xallintooda.  Hagaajinta Maqaalka ugu weyn: Hagaajinta (barashada mashiinka) Hagaajinta waa dhaqanka wax ka beddelidda qaab luqadeed oo horey loo tababaray oo jira iyada oo loo tababarayo (si kormeer ah) hawl gaar ah (tusaale ahaan falanqaynta niyadda, aqoonsiga hay'adda la magacaabay, ama calaamadeynta qayb ka mid ah hadalka). Waa nooc ka mid ah waxbarasho la isugu gudbiyo. Waxay badanaa ku lug leedahay soo bandhigida culeysyo cusub oo isku xira lakabka ugu dambeeya ee qaabka luqadda ee wax soo saarka hawsha hoose. Miisaanka asalka ah ee qaabka luqadda waxaa lagu "qaboojiyay", sidaa darteed kaliya lakabka cusub ee miisaankooda ku xiraya wax soo saarka ayaa la bartay inta lagu jiro tababarka. Haddii kale, miisaanka asalka ah waxaa laga yaabaa in la helo updates yar (laga yaabee la layers hore la qaboojiyey).  Wax la soo jeediyo Eeg sidoo kale: Injineernimada degdegga ah iyo Barashada Few-shot (habeynta luqadda dabiiciga ah) Qaabka soo jeedinta, oo ay caan ka dhigtay GPT-3, dhibaatada la xallinayo waxaa lagu qaabeeyaa qoraal qoraal ah, kaas oo moodelku ku xallinayo bixinta dhammaystirka (iyada oo loo marayo soo-jeedin). Marka la isticmaalayo "tallaabada yar" waxaa ku jira tusaalooyin tiro yar oo isku mid ah (dhibaato, xalka). Tusaale ahaan, falanqaynta dareenka ee ku saabsan calaamadeynta dareenka dib u eegista filimka waxaa loo soo jeedin karaa sida soo socota:  Filimkani waa mid naxdin leh. Aragtida: waa mid xun  Dib u eegis: Filimkani waa mid cajiib ah! Dareen ahaan:  Haddii qaabku soo saaro "positive", markaas si sax ah ayuu u xaliyay hawsha. Marka la soo jeediyo tallaalka eber, ma jiraan tusaalooyin xal ah oo la bixiyay. Tusaale ka mid ah soo jeedinta sawirka eber ee isla hawsha falanqaynta dareenka ayaa noqon doonta " Dareenka la xiriira dib u eegista filimka 'Filimkani waa mid cajiib ah!' waa".  Waxqabadka yar ee LLMs ayaa la muujiyey si loo gaaro natiijooyin tartan ah oo ku saabsan howlaha NLP, mararka qaarkood ka sarreeya hababka hore ee habaynta casriga ah. Tusaalooyinka hawlaha NLP-ga waxaa ka mid ah turjumaadda, ka jawaabista su'aalaha, hawlaha xaddidaadda, furfurista ereyada, iyo adeegsiga erey cusub oo jumlad ah. Abuuritaanka iyo hagaajinta codsiyada noocan oo kale ah waxaa loo yaqaanaa injineernimada codsiga.  Habaynta tilmaamaha Hagaajinta tilmaamuhu waa nooc ka mid ah hagaajinta sifiican loogu talagalay in lagu fududeeyo isdhexgalka tooska ah ee tooska ah ee tooska ah. Marka qoraal la soo galo, qaab luqadeed oo horay loo tababaray ayaa soo saari doona dhammaystir u dhigma qaybinta qoraalka ee lagu tababbaray. Qaabka luqadda ee aan caadiga ahayn ee la siiyay "Ku qor qoraal ku saabsan mowduucyada ugu waaweyn ee Hamlet. " waxay bixin kartaa dhammaystirka sida "Cadaadis 10% ah maalin kasta ayaa lagu dabaqi doonaa soo gudbinta la helay wixii ka dambeeyay Maarso 17". Marka la sameynayo tilmaamaha, qaabka luqadda waxaa lagu tababaraa tusaalooyin badan oo hawlo ah oo loo qaabeeyey tilmaamaha luqadda dabiiciga ah, oo ay weheliso jawaabaha ku habboon. Farsamooyin kala duwan oo lagu hagaajinayo tilmaamaha ayaa loo adeegsaday ficil ahaan. OpenAI's InstructGPT waxay ku lug leedahay hagaajinta la kormeero oo ku saabsan xogta ay abuurtay bini'aadamka (dhakhso, jawaab) lammaane, oo ay ku xigto barashada xoojinta ka soo celinta aadanaha (RLHF), taas oo hawlgal abaalmarin lagu bartay iyadoo lagu saleynayo xogta doorbidida aadanaha. Farsamo kale oo la yiraahdo "is-barasho", ayaa lagu hagaajinayaa qaabka luqadda oo ku saabsan tusaalooyinka tababarka ee ay soo saaraan LLM (oo laga soo qaatay tusaalooyin yar oo bilow ah oo ay abuurtay bini-aadamka).  https://en.wikipedia.org/wiki/Large_language_model
Qaab dhismeedka Transformerka.