Ka lebaka la lirapa tsena tse buang ka mekhoa e meholo ea puo, ke mekhoa efe e tloaelehileng ea mehaho ea marang-rang ea methapo eo li thehiloeng ho eona?
Context:Moetso o moholo oa puo (LLM) ke mofuta oa puo o nang le marang-rang a methapo e nang le mekhahlelo e mengata (hangata e le boima ba limilione tse likete kapa ho feta), e koetlisitsoeng ka bongata ba mongolo o sa ngolisoang o sebelisa ho ithuta ka boithaopo. Li-LLM li hlahile ho pota 2018'me li sebetsa hantle mesebetsing e mengata e fapaneng. Sena se fetotse sepheo sa lipatlisiso tsa ho sebetsana le puo ea tlhaho hole le paradigm ea pele ea ho koetlisa mehlala e laoloang e khethehileng bakeng sa mesebetsi e itseng.  Matlotlo Le hoja poleloana e reng mohlala o moholo oa puo e se na tlhaloso ea semmuso, hangata e bua ka mehlala e tebileng ea ho ithuta e nang le palo ea paramethara ka tatellano ea limilione tse likete kapa ho feta. Li-LLM ke mehlala ea merero e akaretsang e hlahelletseng mesebetsing e mengata, ho fapana le ho koetlisetsoa mosebetsi o le mong o ikhethileng (joalo ka tlhahlobo ea maikutlo, ho tsebahala ha ntho e bitsoang, kapa ho beha mabaka ka lipalo). Tsebo eo ba phethang mesebetsi ka eona, le mefuta ea mesebetsi eo ba khonang ho e etsa, ho bonahala e le mosebetsi oa boholo ba mehloli (data, boholo ba paramethara, matla a ho sebetsa) a nehetsoeng ho bona, ka tsela e sa itšetleheng ka katleho e eketsehileng ea moralo.  Le hoja li koetlisitsoe ho etsa mesebetsi e bonolo e kang ho bolela esale pele lentsoe le latelang polelong, li - neural language model tse koetlisitsoeng ka ho lekaneng le tse nang le palo e lekaneng ea li - parameter li fumanoa li khona ho utloisisa boholo ba mokhoa oa ho ngola le oa ho hlalosa mantsoe oa puo ea batho. Ho phaella moo, mehlala e meholo ea lipuo e bontša tsebo e akaretsang ea lefatše,'me e khona ho "hopola" lintlha tse ngata nakong ea koetliso.  Ho ba le likhopolo-taba Sehlooho se ka sehloohong: Hallucination (artificial intelligence) Ka bohlale ba maiketsetso ka kakaretso,'me ka mehlala e meholo ea puo ka ho khetheha, "likhopolo-taba" ke karabelo e nang le kholiseho e sa bonahaleng e lokafatsoa ke lintlha tsa koetliso ea mohlala.  Bokhoni bo hlahang  Ho tse ngata tsa puo ea tlhaho benchmarks amang mesebetsi e kang potso araba, dikai etsa ha ho molemo ho feta tšohanyetso monyetla oa ho fihlela ba fihla e itseng tekanyo e (tabeng ena, lekanya ka koetliso ya khomphuta ya hao), ka nako eo tshebetso bona sharply eketseha. Tsena ke mehlala ea bokhoni bo hlahang. Bokhoni bo sa lebelloang bo 'nileng ba bonoa mefuteng e meholo ea lipuo empa bo ne bo le sieo mefuteng e bonolo (le e neng e sa etsoa ka ho hlaka ka har'a mohlala) hangata bo bitsoa "bokhoni bo hlahang". Bafuputsi ba hlokomela hore bokhoni bo joalo "bo ke ke ba boleloa esale pele feela ka ho nahana ka tsela eo lintho tse nyenyane li sebetsang ka eona". Bokhoni bona bo fumanoa ho e-na le hore bo hlophisoe kapa bo etselitsoe, maemong a mang feela ka mor'a hore LLM e sebelisoe phatlalatsa. Ho 'nile ha hlalosoa bokhoni bo makholo bo hlahang. Mehlala e kenyeletsa lipalo-palo tse nang le mehato e mengata, ho nka litlhahlobo tsa boemo ba koleche, ho khetholla moelelo o reriloeng oa lentsoe, ho susumetsa mohopolo oa ketane, ho khetholla Alfabeta ea Machaba ea Phonetic, ho khetholla litlhaku tsa lentsoe, ho khetholla litaba tse khopisang lirapeng tsa Hinglish (motsoako oa Sehindi le Senyesemane), le ho hlahisa se tšoanang le Senyesemane se lekanang le maele a Kiswahili.  Moralo le koetliso Mefuta e meholo ea lipuo e sebelisitse tloaelo ea transformer, eo, ho tloha ka 2018, e fetohileng mokhoa o tloaelehileng oa ho ithuta ka botebo bakeng sa data e latellanang (pele, meralo e iphetang joalo ka LSTM e ne e atile haholo). Li-LLM li koetlisoa ka mokhoa o sa laoloang ka mongolo o sa hlalosoang. Mofetoleli oa ho tloha ka ho le letšehali ho ea ka ho le letona o koetlisitsoe ho eketsa monyetla oa ho fuoa lentsoe le latelang ho data ea koetliso, ho latela moelelo o fetileng. Ka tsela e 'ngoe, LLM e ka 'na ea sebelisa transformer e nang le litsela tse peli (joalo ka mohlala oa BERT), e fanang ka kabo ea monyetla holim'a mantsoe a fuoeng monyetla oa ho kena moelelong o fetileng le o latelang. Ho phaella mosebetsing oa ho bolela esale pele lentsoe le latelang kapa "ho tlatsa likheo", LLMs ka koetlisetsoa mesebetsi ea thusang eo leka kutloisiso ea bona ea kabo ya data tse kang Next Sentence Prediction (NSP), eo ho eona lipara tsa lipolelo li hlahisoa'me ea mohlala e lokela ho bolela esale pele hore na ba hlaha ka thōko-ka-lehlakoreng ka koetliso corpus.  Li-LLM tsa pele-pele li ne li koetlisitsoe ka li-corpora tse nang le mantsoe a limilione tse likete. Mohlala oa pele letotong la OpenAI la GPT o koetlisitsoe ka 2018 ho BookCorpus, e nang le mantsoe a limilione tse 985. Selemong sona seo, BERT e ile ea koetlisoa ka motsoako oa BookCorpus le Wikipedia ea Senyesemane, e nang le mantsoe a limilione tse likete tse 3,3. Ho tloha ka nako eo, chelete e sebelisetsoang ho koetlisa li-LLM e eketsehile ka makhetlo a mangata,'me e fihlile ho li-token tse limilione tse likete tse makholo kapa tse libilione.  Li-LLM li bitsa chelete e ngata ho li koetlisa. Phuputso ea 2020 e hakantse litšenyehelo tsa ho koetlisa mohlala oa paramethara ea limilione tse likete tse 1.5 (litaelo tsa boholo ba 1-2 tse nyane ho feta boemo ba bonono ka nako eo) ho $ 1.6 milione.  Tlhahlobo ea 2020 e fumane hore bokhoni ba mehlala ea puo ea methapo (joalo ka ha bo lekantsoe ke tahlehelo ea koetliso) bo eketsehile hantle kamanong ea molao oa matla le palo ea mekhahlelo, bongata ba data ea koetliso, le lipalo tse sebelisitsoeng bakeng sa koetliso. Likamano tsena li ile tsa hlahlojoa ka bongata ba litekanyetso (ho fihlela ho litekanyetso tse supileng tsa boholo)'me ha ho na ho fokotseha ha kamano ho ileng ha hlokomeloa qetellong ea boholo ba sebaka (ho kenyeletsa le boholo ba marang-rang ho fihlela ho li-trillion tsa parameter).  Kopo ho mesebetsi e ka morao Pakeng tsa 2018 le 2020, mokhoa o tloaelehileng oa ho sebelisa LLM bakeng sa mosebetsi o itseng oa ho sebetsana le puo ea tlhaho (NLP) e ne e le ho ntlafatsa mohlala ka koetliso e eketsehileng e ikhethileng. Ka mor'a moo ho 'nile ha fumanoa hore LLMs matla ho feta tse kang GPT-3 ka rarollang mesebetsi ntle le koetliso e eketsehileng ka "potlakisa" dithekeniki, eo ho eona bothata ho rarolloa e hlahisa ho ea mohlala e le mongolo o potlakileng, mohlomong le ba bang ba mehlala ea mongolo ea mathata a tšoanang le tharollo ea bona.  Ho hlophisa hantle Sehlooho se ka sehloohong: Fine-tuning (ho ithuta mochine) Ho hlophisa hantle ke mokhoa oa ho fetola mofuta oa puo o seng o ntse o le teng ka ho o koetlisa (ka tsela e laoloang) mosebetsing o itseng (mohlala, tlhahlobo ea maikutlo, ho tsebahala ha ntho e bitsoang, kapa ho tšoaea karolo ea puo). Ke mokhoa oa ho fetisetsa thuto. Ka kakaretso e akarelletsa ho kenyelletsoa ha sehlopha se secha sa litekanyo tse hokahanyang lera la ho qetela la mohlala oa puo ho se hlahisoang ke mosebetsi o latelang. Boima ba mantlha ba mohlala oa puo bo ka "khomaretsoa", e le hore feela lera le lecha la litekanyo tse li hokahanyang le tlhahiso li ithutoe nakong ea koetliso. Ho seng joalo, boima ba pele bo ka 'na ba fumana lintlafatso tse nyenyane (mohlomong ka likarolo tsa pele li hoamisoa).  Ho susumetsa Sheba hape: Boenjiniere bo potlakileng le Ho ithuta ka nakoana (ho sebetsana le puo ea tlhaho) Ka ho susumelletsa paradigm, e ratoang ke GPT-3, bothata ho rarolloa e reriloe ka tsela e mongolo susumelletsa, e leng ea mohlala e lokela ho rarolla ka ho fana ka ho phethoa (ka inference). Ka "khothalletso ea thunya e seng mekae", khothaletso e kenyelletsa palo e nyane ea mehlala ea lipara tse tšoanang (bothata, tharollo). Ka mohlala, mosebetsi oa tlhahlobo ea maikutlo oa ho ngola maikutlo a tlhahlobo ea filimi o ka susumetsoa ka tsela e latelang:  Tlhaloso: Filimi ena ha e na thuso. Maikutlo: a fosahetseng  Tlhahlobo: Filimi ena e ntle haholo! Maikutlo:  Haeba mohlala o hlahisa "positive", joale o rarolotse bothata ka nepo. Ka zero-shot susumelletsa, ha ho na rarolla mehlala ba fana ka. Mohlala oa zero-shot prompt bakeng sa mosebetsi o tšoanang oa tlhahlobo ea maikutlo e ka ba "Maikutlo a amanang le tlhahlobo ea lifilimi 'Filimi ena e monate!' ke".  Tshebetso e fokolang ea LLM e bontšitsoe ho finyella liphello tsa tlhōlisano mesebetsing ea NLP, ka linako tse ling e feta mekhoa ea pele ea boemo bo botle. Mehlala ea mesebetsi e joalo ea NLP ke phetolelo, ho araba lipotso, mesebetsi ea cloze, ho hlakola mantsoe le ho sebelisa lentsoe le lecha polelong. Ho bōptjoa le ho ntlafatsoa ha litlhahiso tse joalo ho bitsoa boenjiniere bo potlakileng.  Ho lokisa litaelo Ho hlophisa litaelo ke mokhoa oa ho hlophisa hantle o etselitsoeng ho nolofalletsa litšebelisano tsa tlhaho le tse nepahetseng tsa zero-shot. Ha ho fanoa ka mongolo o kentsoeng, mohlala oa puo o koetlisitsoeng pele o tla hlahisa ho phethoa ho lumellanang le kabo ea mongolo oo o koetlisitsoeng ka oona. Mohlala oa puo e sa utloahaleng o fuoeng taelo e reng "Ngola moqoqo ka lihlooho tse ka sehloohong tsa Hamlet. " e ka fana ka phetheho e kang "Ho tla sebelisoa kotlo ea ho lieha ea 10% ka letsatsi bakeng sa litlhahiso tse fumanoeng ka mor'a la 17 Hlakubele". Ha ho hlophisoa litaelo, mohlala oa puo o koetlisoa ka mehlala e mengata ea mesebetsi e hlophisitsoeng e le litaelo tsa puo ea tlhaho, hammoho le likarabo tse loketseng. Mekhoa e sa tšoaneng ea ho hlophisa litaelo e 'nile ea sebelisoa. OpenAI's InstructGPT protocol e kenyelletsa ho hlophisa hantle ho laoloang ho dataset ea lipara tse hlahisitsoeng ke motho (khothatso, karabelo), e lateloe ke ho ithuta ho matlafatsoa ho tsoa ho maikutlo a batho (RLHF), moo mosebetsi oa moputso o ithutileng o ipapisitse le dataset ea likhetho tsa batho. Mokhoa o mong, "ho ithuta ka boithaopo", o ntlafatsa mohlala oa puo ka mohlala oa mehlala ea koetliso eo ka boeona e hlahisoang ke LLM (e qotsitsoeng ho tloha ho sete e nyenyane ea pele ea mehlala e entsoeng ke motho).  https://en.wikipedia.org/wiki/Large_language_model
Moralo oa Transformer.