Bi a se fi awon paragirafi yii nipa awon awo ede nla, igba wo ni awon LLM ti farahan?
Context:Àpẹẹrẹ èdè ńlá (LLM) jẹ́ àwòkọ́ṣe èdè tí ó ní àwòkọ́ṣe nẹ́wúrà pẹ̀lú ọ̀pọ̀lọpọ̀ àwọn ìlànà (ìyẹn bílíọ̀nù àìmọye àwọn àdánù tàbí jù bẹ́ẹ̀ lọ), tí wọ́n ń kọ́ ní orí ọ̀pọ̀lọpọ̀ àwọn àkọsílẹ̀ tí kò ní àmì tí wọ́n ń lò nípasẹ̀ ẹ̀kọ́ tí wọ́n ń darí fúnra wọn. Awọn LLM farahan ni ayika ọdun 2018 ati ṣiṣe daradara ni ọpọlọpọ awọn iṣẹ-ṣiṣe. Eyi ti yi idojukọ ti iwadii sisẹ ede adayeba kuro ni apẹrẹ iṣaaju ti ikẹkọ awọn awoṣe abojuto pataki fun awọn iṣẹ-ṣiṣe kan pato.  Àwọn ohun-ìní Bó tilẹ̀ jẹ́ pé ọ̀rọ̀ náà "àpẹẹrẹ èdè ńlá" kò ní ìtumọ̀ tí ó ṣe pàtó, ó sábà máa ń tọ́ka sí àwọn àwòkọ̀ọ́ tí ó jinlẹ̀ tí ó ní iye àwọn àlàfo tó jẹ́ bílíọ̀nù tàbí jù bẹ́ẹ̀ lọ. LLM jẹ awọn awoṣe idi gbogbogbo ti o tayọ ni ọpọlọpọ awọn iṣẹ-ṣiṣe, ni idakeji si ikẹkọ fun iṣẹ-ṣiṣe kan pato (bii itupalẹ iṣaro, idanimọ nkan ti a npe ni, tabi ero iṣiro). Ọgbọn ti wọn fi n ṣe awọn iṣẹ, ati ibiti awọn iṣẹ ti wọn lagbara, dabi pe o jẹ iṣẹ ti iye awọn orisun (data, iwọn paramita, agbara iṣiro) ti a ya sọtọ si wọn, ni ọna ti ko da lori awọn ilọsiwaju afikun ninu apẹrẹ.  Bó tilẹ̀ jẹ́ pé wọ́n ti kọ́ wọn ní àwọn iṣẹ́ tó rọrùn bíi wíwo ọ̀rọ̀ tó máa tẹ̀ lé e nínú gbólóhùn kan, a rí i pé àwọn ẹ̀rọ èdè tí wọ́n ti kọ́ dáadáa tí wọ́n sì ní àwọn ìlànà tó yẹ kí wọ́n máa tẹ̀ lé máa ń gba èyí tó pọ̀ jù lọ nínú àwọn ìlànà àti ìtumọ̀ èdè ènìyàn. Ni afikun, awọn awoṣe ede nla ṣe afihan imọ gbogbogbo ti o pọju nipa agbaye, ati pe o ni anfani lati "ṣe iranti" ọpọlọpọ awọn otitọ lakoko ikẹkọ.  Ìrònú Àwọn ojúewé wọ̀nyí jápọ̀ mọ́ Àdàkọ:Hallucination (artificial intelligence) Nínú ìmọ̀ ọgbọ́n orí ẹ̀dá ní gbogbogbo, àti nínú àwọn àwòkọ́ èdè ńlá ní pàtó, "ìmọ̀lára" jẹ́ ìdáhùn ìdánilójú tí kò dàbí ẹni pé ó jẹ́ èyí tí àwọn ìsọfúnni ìdánilẹ́kọ̀ọ́ tí àwòkọ́ náà ní fi hàn pé ó tọ̀nà.  Àwọn agbára tó ń yọjú  Ní oríṣiríṣi àwọn ìlànà èdè àbínibí tí ó ní àwọn iṣẹ́ bíi ìdáhùn ìbéèrè nínú, àwọn àwòṣe kò ṣe dáadáa ju àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀ kí wọ́n ṣe àfàìmọ̀. Àpẹẹrẹ àwọn agbára tó ń yọjú nìyí. Àwọn agbára tí a kò lè sọ tẹ́lẹ̀ tí a ti ṣàkíyèsí nínú àwọn àwòkọ́ṣe èdè ńláńlá ṣùgbọ́n tí wọn kò sí nínú àwọn àwòkọ́ṣe tí ó rọrùn (tí wọn kò sì ṣe àtúnṣe sí àwòkọ́ṣe náà) ni a sábà máa ń pè ní "àwọn agbára tí ó yọjú". Àwọn olùṣèwádìí náà sọ pé "kò ṣeé ṣe láti sọ bí irú àwọn nǹkan bẹ́ẹ̀ ṣe máa ń ṣiṣẹ́ tó nípa wíwulẹ̀ ṣe àyẹ̀wò àwọn ohun tó kéré jù lọ". Awọn agbara wọnyi ni a ṣe awari dipo ti siseto-ni tabi apẹrẹ, ni awọn igba miiran nikan lẹhin ti LLM ti wa ni ita gbangba. Àwọn èèyàn ti ṣàpèjúwe ọgọ́rọ̀ọ̀rún àwọn agbára tó ń yọjú. Àwọn àpẹẹrẹ kan ni ìṣirò oríṣiríṣi ìgbésẹ̀, gbígba ìdánwò ní ipele kọ̀lẹ́ẹ̀jì, wíwá ìtumọ̀ tí a fẹ́ fún ọ̀rọ̀ kan, pípèsè ìsọfúnni nípa ọ̀nà tí a gbà ń ronú, ṣíṣàmúlò Àdàkọ Ọ̀rọ̀-ìmọ̀ Oríṣiríṣi, ṣíṣàmúlò àwọn lẹ́tà ọ̀rọ̀ kan, wíwá ìsọfúnni tí kò bára mu nínú àwọn ìpínrọ̀ Hinglish (àjọpọ̀ èdè Híńdí àti èdè Gẹ̀ẹ́sì), àti pípèsè èdè Gẹ̀ẹ́sì tí ó bára dọ́gba pẹ̀lú àwọn òwe Kiswahili.  Ìmúra àti ìdánilẹ́kọ̀ọ́ Awọn awoṣe ede nla ti lo julọ ti itumọ itumọ transformer, eyiti, lati ọdun 2018, ti di ilana ẹkọ jinlẹ boṣewa fun data itẹlera (ni iṣaaju, awọn ọna ṣiṣe atunwi bii LSTM jẹ wọpọ julọ). Àwọn LLM ni wọ́n ń kọ́ ní ọ̀nà tí kò ní àbójútó lórí ìwé tí kò ní àlàyé. A ṣe ìdánilẹ́kọ̀ọ́ àyípadà òsì sí ọ̀tún láti mú kí ìdánilójú tí a yàn fún ọ̀rọ̀ tó tẹ̀lé e nínú àwọn ìsọfúnni ìdánilẹ́kọ̀ọ́ náà pọ̀ sí i, níwọ̀n bí ó ti jẹ́ pé àyíká tó ṣáájú ni. Ni ọna miiran, LLM le lo iyipada ti o ni itọsọna meji (bi ninu apẹẹrẹ ti BERT), eyiti o funni ni pinpin iṣeeṣe lori awọn ọrọ ti a fun ni iraye si mejeeji ti iṣaaju ati atẹle. Ni afikun si iṣẹ-ṣiṣe ti asọtẹlẹ ọrọ ti o tẹle tabi "fi awọn aaye ṣofo", LLMs le ni ikẹkọ lori awọn iṣẹ-ṣiṣe iranlọwọ ti o ṣe idanwo oye wọn ti pinpin data gẹgẹbi Asọtẹlẹ Ọrọ-ọrọ ti o tẹle (NSP), ninu eyiti a gbekalẹ awọn tọkọtaya ti awọn gbolohun ọrọ ati awoṣe gbọdọ ṣe asọtẹlẹ boya wọn farahan lẹgbẹẹ-lẹgbẹẹ ninu akopọ ikẹkọ.  Àwọn LLM tí wọ́n kọ́kọ́ kọ́ ni wọ́n kọ́ nípa àwọn ìsọfúnni tó ní bílíọ̀nù ọ̀rọ̀. Àpẹẹrẹ àkọ́kọ́ nínú OpenAI's GPT series ni wọ́n kọ́ ní 2018 lórí BookCorpus, tí ó ní àwọn ọ̀rọ̀ mílíọ̀nù 985. Ni ọdun kanna, BERT ni ikẹkọ lori apapo BookCorpus ati English Wikipedia, lapapọ 3.3 bilionu awọn ọrọ. Láàárín àwọn ọdún tó ti kọjá látìgbà náà, àwọn ilé ìdánilẹ́kọ̀ọ́ fún àwọn LLM ti pọ̀ sí i gan-an, wọ́n sì ti tó ọgọ́rọ̀ọ̀rún bílíọ̀nù tàbí ẹgbàágbèje owó tokeni.  Àwọn LLM jẹ́ dídára láti kọ́. Ìwádìí kan tí wọ́n ṣe lọ́dún 2020 fojú díwọ̀n iye tí wọ́n máa ná láti kọ́ ẹ̀rọ tí wọ́n ń pè ní 1.5 billion parameter model (1-2 orders of magnitude smaller than the state of the art at the time) ní $1.6 million.  Àgbéyẹ̀wò ọdún 2020 fi hàn pé agbára àwọn àwòkọ èdè ti ọpọlọ (bí a ṣe wọn nípa àdánù ìdánilẹ́kọ̀ọ́) pọ̀ sí i ní rọ̀rọ̀-rọ̀-rọ̀ ní ìbáṣepọ̀ òfin agbára pẹ̀lú iye àwọn ìlànà, iye àwọn ìsọfúnni ìdánilẹ́kọ̀ọ́, àti ìṣirò tí a lò fún ìdánilẹ́kọ̀ọ́. A ṣe idanwo awọn ibatan wọnyi lori ibiti o gbooro ti awọn iye (to awọn aṣẹ titobi meje) ati pe ko ṣe akiyesi idinku ti ibatan ni opin ti o ga julọ ti ibiti (pẹlu fun awọn titobi nẹtiwọọki to awọn trillions ti awọn iṣiro).  Ohun elo si awọn iṣẹ-ṣiṣe isalẹ Láàárín ọdún 2018 àti 2020, ọ̀nà tí wọ́n ń lò fún lílo LLM fún iṣẹ́ kan pàtó nídìí lílo èdè àbínibí (NLP) ni láti ṣe àtúnṣe àwòṣe náà pẹ̀lú ìdánilẹ́kọ̀ọ́ pàtó fún iṣẹ́ náà. A ti rii nigbamii pe awọn LLM ti o ni agbara diẹ sii bii GPT-3 le yanju awọn iṣẹ laisi ikẹkọ afikun nipasẹ awọn ilana "awọn iwuri", ninu eyiti iṣoro ti o yẹ ki o yanju ni a gbekalẹ si awoṣe bi iwuri ọrọ, boya pẹlu diẹ ninu awọn apẹẹrẹ ọrọ ti awọn iṣoro iru ati awọn solusan wọn.  Ṣíṣàtúnṣe Àwọn ojúewé wọ̀nyí jápọ̀ mọ́ Àdàkọ:Fine-tuning (machine learning): Àtúnṣe dídára jẹ́ àṣeyege láti ṣe àtúnṣe sí àwòkọ èdè tí a ti kọ́ tẹ́lẹ̀ nípa kíkọ́ ọ (ní ọ̀nà tí a ń darí) lórí iṣẹ́ pàtó kan (bí àyèwò èrò orí, ìfọwọ́sí àwọn ohun tí a pè ní orúkọ, tàbí dídá àwọn apá kan lára ọ̀rọ̀-ìbánisọ̀rọ̀ mọ̀). Irú ìkọ́nilẹ́kọ̀ọ́ tí wọ́n máa ń fi ránṣẹ́ ni. Ó sábà máa ń wé mọ́ ìdásílẹ̀ àpapọ̀ àwọn ohun tí a fi ń díwọ̀n tí ó so àlàfo ìkẹyìn ti àwòkọ èdè pọ̀ mọ́ àbájáde iṣẹ́ tí ó wà ní ìsàlẹ̀. Àwọn àdánwò ìpilẹ̀ṣẹ̀ ti àwòkọ́ èdè lè jẹ́ "tí ó dì", irú èyí tí kìkì àwo tuntun ti àdánwò tí ó so wọn pọ̀ mọ́ ìjáde ni a kọ́ lásìkò ìdánilẹ́kọ̀ọ́. Yatọ si eyi, awọn iwuwo atilẹba le gba awọn imudojuiwọn kekere (o ṣee ṣe pẹlu awọn fẹlẹfẹlẹ iṣaaju ti o ti wa ni tutu).  Ìsọfúnni Ẹ tún wo: Ẹ̀rọ tí ó yára àti Ẹ̀kọ́ tí ó yára kúrú (ìmúlò èdè àdáni) Ni awọn prompting paradigm, popularized nipa GPT-3, awọn isoro lati wa ni solved ti wa ni formulate nipasẹ kan ọrọ prompt, eyi ti awọn awoṣe gbọdọ yanju nipa pese kan pari (nipasẹ inference). Ni "ìmọ̀ràn díẹ̀-ìmọ̀ràn", ìmọ̀ràn náà ní àwọn àpẹẹrẹ díẹ̀ ti àwọn ìbejì tó jọra (ìṣòro, ojútùú). Fun apẹẹrẹ, iṣẹ-ṣiṣe onínọmbà ero ti sisọ ero ti atunyẹwo fiimu kan le ṣee beere bi atẹle:  Àtúnyẹ̀wò: Fíìmù yìí ò dáa rárá. Èrò: kò dára  Àtúnyẹ̀wò: Fíìmù yìí mà dára o! Ìrònú:  Ti awoṣe naa ba jade "positive", lẹhinna o ti yanju iṣẹ naa ni deede. Níbi tí wọ́n ti ń sọ̀rọ̀ nípa ìṣẹ̀lẹ̀ tí kò ní ìṣẹ̀lẹ̀, wọn kò fúnni ní àpẹẹrẹ. Àpẹẹrẹ ohun tí a kò lè ṣe fún àgbéyẹ̀wò èrò kan náà ni "Ìrònú tí ó so mọ́ àtúnyẹ̀wò fíìmù 'Fíìmù yìí tayọ̀tayọ̀!' jẹ́".  A ti fi han pe iṣẹ ṣiṣe kekere ti awọn LLM ṣe aṣeyọri awọn abajade ifigagbaga lori awọn iṣẹ NLP, nigbakan o kọja awọn ọna iṣatunṣe iṣaaju ti iṣaaju. Àpẹẹrẹ àwọn iṣẹ́ NLP wọ̀nyí ni ìtumọ̀, ìdáhùn ìbéèrè, iṣẹ́ cloze, ṣíṣí àwọn ọ̀rọ̀, àti lílo ọ̀rọ̀ tuntun nínú gbólóhùn. Ẹda ati iṣapeye ti iru awọn itọnisọna bẹẹ ni a npe ni imọ-ẹrọ itọnisọna.  Ìtọ́sọ́nà tí ó ń yí padà Ìtọ́ni ìtọ́ni jẹ́ ọ̀nà ìtọ́ni dídíjú tí a ṣe láti mú kí ìfọ̀rọ̀wérọ̀ tí ó ń mú kí ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀-ìṣẹ̀lẹ̀. Ti a ba fi ọrọ kan sinu, awoṣe ede ti a ti kọ tẹlẹ yoo ṣe agbekalẹ ipari ti o baamu pinpin ọrọ lori eyiti o ti kọ ẹkọ. Àpẹẹrẹ èdè tí a kò mọ̀ rí tí a fún ní ìsọfúnni náà "Kọ̀wé nípa àwọn kókó pàtàkì nínú Hamlet". lè pèsè ìparí bíi "A ó fi ìjìyà ìdádúró tó jẹ́ 10% fún ọjọ́ kan sí àwọn ìsọfúnni tí a gbà lẹ́yìn March 17". Nínú ìtọ́ni ìtọ́ni, a máa ń kọ́ àwòkọ́ èdè lórí ọ̀pọ̀lọpọ̀ àpẹẹrẹ àwọn iṣẹ́ tí a ṣe gẹ́gẹ́ bí ìtọ́ni èdè àbínibí, pẹ̀lú àwọn ìdáhùn tó yẹ. Oríṣiríṣi ọ̀nà ni wọ́n ti lò nínú ìṣe láti ṣe àtúnṣe sí ìtọ́ni. OpenAI's InstructGPT protocol níí ṣe pẹ̀lú àbójútó àtúnṣe lórí ìdìpọ̀ ìsọfúnni tí ènìyàn dá (ìsọfúnni tí ó tètè dé, ìdáhùn) àwọn tọkọtaya, tí a tẹ̀lé e pẹ̀lú ìkó́nilétí láti inú àlàyé tí ènìyàn fúnni (RLHF), nínú èyí tí a kọ́ iṣẹ́ èrè tí ó dá lórí ìdìpọ̀ ìsọfúnni tí ènìyàn yàn. Ọna miiran, "fi ara kọ ẹkọ", ṣe atunṣe awoṣe ede lori ṣeto ikẹkọ ti awọn apẹẹrẹ eyiti wọn jẹ ti ara wọn nipasẹ LLM (bootstrapped lati ṣeto ibẹrẹ kekere ti awọn apẹẹrẹ ti eniyan ṣe).  https://en.wikipedia.org/wiki/Large_language_model
Nǹkan bí ọdún 2018.