Kutokana na aya hizi kuhusu mifano ya lugha kubwa, nini ni hallucination?
Context:Mfano mkubwa wa lugha (LLM) ni mfano wa lugha unaojumuisha mtandao wa neva na vigezo vingi (kawaida mabilioni ya uzito au zaidi), uliofunzwa kwa idadi kubwa ya maandishi yasiyo na lebo kwa kutumia ujifunzaji wa kujisimamia. LLM ziliibuka karibu 2018 na zinafanya vizuri katika kazi anuwai. Hii imebadilisha mwelekeo wa utafiti wa usindikaji wa lugha ya asili mbali na mfano wa awali wa mafunzo maalum ya mifano ya usimamizi kwa kazi maalum.  Sifa Ingawa neno kubwa lugha mfano hana ufafanuzi rasmi, mara nyingi inahusu kina kujifunza mifano kuwa na hesabu parameter juu ya utaratibu wa mabilioni au zaidi. LLMs ni mifano ya kusudi la jumla ambayo bora katika mbalimbali ya kazi, kinyume na kuwa mafunzo kwa ajili ya kazi moja maalum (kama vile uchambuzi hisia, jina la kitengo utambuzi, au mantiki ya hisabati). Ustadi ambao wao kukamilisha kazi, na mbalimbali ya kazi ambayo wao ni uwezo, inaonekana kuwa kazi ya kiasi cha rasilimali (data, parameter-ukubwa, nguvu za kompyuta) kujitolea kwao, kwa njia ambayo si tegemezi juu ya mafanikio ya ziada katika kubuni.  Ingawa wamefundishwa kazi rahisi kama vile kutabiri neno linalofuata katika sentensi, mifano ya lugha ya neva iliyo na mafunzo ya kutosha na hesabu ya vigezo imepatikana kukamata sehemu kubwa ya sintaksia na semantics ya lugha ya kibinadamu. Aidha, mifano kubwa ya lugha kuonyesha kiasi kikubwa cha maarifa ya jumla kuhusu dunia, na ni uwezo wa "kukumbuka" idadi kubwa ya ukweli wakati wa mafunzo.  Maono Makala kuu: Hallucination (Artificial Intelligence) Katika akili bandia kwa ujumla, na katika mifano ya lugha kubwa hasa, "hallucination" ni majibu ya kujiamini ambayo haionekani kuhalalishwa na data ya mafunzo ya mfano.  Uwezo wa kujitokeza  Juu ya idadi ya lugha ya asili benchmarks kuwashirikisha kazi kama vile swali kujibu, mifano ya kufanya si bora kuliko nafasi random mpaka kufikia kiwango fulani (katika kesi hii, kipimo na mafunzo ya hesabu), wakati ambapo hatua ya utendaji wao kwa kasi kuongezeka. Hizi ni mifano ya uwezo unaojitokeza. Uwezo usioweza kutabiriwa ambao umeonekana katika mifano mikubwa ya lugha lakini ambao haukuwepo katika mifano rahisi (na ambao haukuundwa wazi katika mfano) kwa kawaida huitwa "uwezo unaoibuka". Watafiti wanasema kwamba uwezo huo "hauwezi kutabiriwa kwa kutumia tu mifano midogo". Uwezo huu ni kugunduliwa badala ya programu-katika au iliyoundwa, katika baadhi ya kesi tu baada ya LLM imekuwa kupelekwa hadharani. Mamia ya uwezo mbalimbali ambao umefafanuliwa. Mifano ni pamoja na hesabu ya hatua nyingi, kuchukua mitihani ya kiwango cha chuo kikuu, kutambua maana inayokusudiwa ya neno, kuchochea mlolongo wa mawazo, kutenganisha Alfabeti ya Sauti ya Kimataifa, kutenganisha herufi za neno, kutambua maudhui ya kukera katika aya za Hinglish (mchanganyiko wa Kihindi na Kiingereza), na kuzalisha sawa sawa ya Kiingereza ya mithali ya Kiswahili.  Usanifu na mafunzo Mifano kubwa lugha kuwa kawaida kutumika transformer usanifu, ambayo, tangu 2018, imekuwa kiwango kina kujifunza mbinu kwa ajili ya data mfululizo (awali, usanifu kurudia kama vile LSTM walikuwa kawaida zaidi). LLMs ni mafunzo katika njia unsupervised juu ya maandishi unannotated. Transformer kushoto-kwa-kulia ni mafunzo ya kuongeza uwezekano wa kupewa neno ijayo katika data mafunzo, kutokana na mazingira ya awali. Vinginevyo, LLM inaweza kutumia bidirectional transformer (kama katika mfano wa BERT), ambayo inapeana usambazaji wa uwezekano juu ya maneno kupewa upatikanaji wa wote wawili uliopita na kufuatia mazingira. Mbali na kazi ya kutabiri neno ijayo au "kujaza katika nafasi tupu", LLMs inaweza kuwa mafunzo juu ya kazi msaidizi ambayo mtihani uelewa wao wa usambazaji wa data kama vile Next Sentence Utabiri (NSP), ambayo jozi ya sentensi ni iliyotolewa na mfano lazima kutabiri kama wao kuonekana side-by-side katika mafunzo corpus.  LLMs mapema walikuwa mafunzo juu ya corpora kuwa juu ya utaratibu wa mabilioni ya maneno. Mfano wa kwanza katika mfululizo wa GPT wa OpenAI ulifundishwa mnamo 2018 kwenye BookCorpus, iliyo na maneno milioni 985. Katika mwaka huo huo, BERT ilikuwa mafunzo juu ya mchanganyiko wa BookCorpus na Wikipedia ya Kiingereza, jumla ya maneno bilioni 3.3. Katika miaka tangu wakati huo, mafunzo corpora kwa LLMs imeongezeka kwa amri ya ukubwa, kufikia hadi mamia ya mabilioni au trilioni ya ishara.  LLMs ni computationally gharama kubwa ya mafunzo. Utafiti wa 2020 ulikadiria gharama ya kufundisha mfano wa parameta bilioni 1.5 (mipangilio 1-2 ya ukubwa mdogo kuliko hali ya sanaa wakati huo) kwa dola milioni 1.6.  Uchambuzi wa 2020 uligundua kuwa uwezo wa mifano ya lugha ya neva (kama inavyopimwa na upotezaji wa mafunzo) iliongezeka kwa urahisi katika uhusiano wa sheria ya nguvu na idadi ya vigezo, idadi ya data ya mafunzo, na hesabu inayotumika kwa mafunzo. Mahusiano haya yalijaribiwa kwa wigo mpana wa maadili (hadi safu saba za ukubwa) na hakuna kupungua kwa uhusiano kulionekana katika mwisho wa juu wa wigo (ikiwa ni pamoja na ukubwa wa mtandao hadi trilioni ya vigezo).  Matumizi ya kazi downstream Kati ya 2018 na 2020, njia ya kawaida ya kutumia LLM kwa kazi maalum ya usindikaji wa lugha ya asili (NLP) ilikuwa kurekebisha mfano huo na mafunzo ya ziada maalum ya kazi. Baadaye imekuwa kupatikana kwamba LLMs nguvu zaidi kama vile GPT-3 wanaweza kutatua kazi bila mafunzo ya ziada kupitia mbinu "kuomba", ambayo tatizo kutatuliwa ni iliyotolewa kwa mfano kama maandishi prompt, labda na baadhi ya mifano ya maandishi ya matatizo kama hayo na ufumbuzi wao.  Kufanya marekebisho Makala kuu: Fine-tuning (mafunzo ya mashine) Fine-tuning ni mazoezi ya kurekebisha iliyopo kabla ya mafunzo ya lugha mfano kwa mafunzo yake (katika njia ya usimamizi) juu ya kazi maalum (kwa mfano uchambuzi hisia, jina kitengo utambuzi, au sehemu ya hotuba tagging). Ni aina ya kuhamisha kujifunza. Kwa ujumla inahusisha kuanzishwa kwa seti mpya ya uzito kuunganisha safu ya mwisho ya mfano wa lugha kwa pato la kazi ya chini. Uzito wa awali wa mfano wa lugha inaweza kuwa "frozen", hivyo kwamba tu safu mpya ya uzito kuunganisha yao kwa pato ni kujifunza wakati wa mafunzo. Vinginevyo, uzito wa awali inaweza kupokea updates ndogo (uwezekano na tabaka za awali waliohifadhiwa).  Kuchochea Angalia pia: Uhandisi wa haraka na Kujifunza kwa risasi chache (usindikaji wa lugha ya asili) Katika paradigm kuchochea, popularized na GPT-3, tatizo kutatuliwa ni iliyopangwa kupitia prompt maandishi, ambayo mfano lazima kutatua kwa kutoa kukamilisha (kupitia inference). Katika "pamoja-shot prompting", prompt ni pamoja na idadi ndogo ya mifano ya sawa (tatizo, ufumbuzi) jozi. Kwa mfano, kazi ya uchambuzi wa hisia ya kuweka lebo ya hisia ya ukaguzi wa filamu inaweza kuhamasishwa kama ifuatavyo:  Uhakiki: Sinema hii ni mbaya. Hisia: hasi  Mapitio: Sinema hii ni ya ajabu! Hisia:  Kama matokeo ya mfano ni "mzuri", basi ni kwa usahihi kutatuliwa kazi. Katika zero-shot kuuliza, hakuna kutatua mifano hutolewa. Mfano wa zero-shot prompt kwa kazi hiyo ya uchambuzi wa hisia itakuwa "Hisia zinazohusiana na ukaguzi wa filamu 'Filamu hii ni ya ajabu!' ni".  Few-shot utendaji wa LLMs imeonekana kufikia matokeo ya ushindani juu ya NLP kazi, wakati mwingine kuzidi awali hali ya sanaa-fine-tuning mbinu. Mifano ya kazi kama hizo za NLP ni tafsiri, kujibu maswali, kazi za cloze, kufungua maneno, na kutumia neno jipya katika sentensi. Uundaji na uboreshaji wa maombi kama hayo huitwa uhandisi wa haraka.  Maelekezo tuning Maagizo tuning ni aina ya faini-tuning iliyoundwa ili kuwezesha zaidi ya asili na sahihi zero-shot kuchochea mwingiliano. Kutokana na pembejeo ya maandishi, mfano wa lugha uliopangwa utazalisha kukamilika ambayo inalingana na usambazaji wa maandishi ambayo ilifundishwa. mfano wa lugha naive kutokana na haraka "Kuandika insha kuhusu mandhari kuu ya Hamlet. " inaweza kutoa kukamilisha kama vile "A adhabu marehemu ya 10% kwa siku zitatumika kwa mawasilisho kupokea baada ya Machi 17". Katika mafundisho tuning, lugha mfano ni mafunzo juu ya mifano mingi ya kazi iliyoandaliwa kama maagizo ya lugha ya asili, pamoja na majibu sahihi. Mbinu mbalimbali kwa maelekezo tuning wamekuwa kutumika katika mazoezi. OpenAI ya InstructGPT itifaki inahusisha kusimamiwa tune-faini juu ya seti ya data ya binadamu yanayotokana (haraka, majibu) jozi, ikifuatiwa na reinforcement kujifunza kutoka maoni ya binadamu (RLHF), ambayo malipo kazi ilijifunza kwa kuzingatia seti ya data ya upendeleo wa binadamu. Mbinu nyingine, "kufundisha mwenyewe", tunes-fine mfano wa lugha juu ya seti ya mafunzo ya mifano ambayo ni wenyewe yanayotokana na LLM (bootstrapped kutoka seti ndogo ya awali ya mifano ya binadamu-zinazotokana).  https://en.wikipedia.org/wiki/Kubwa_language_model
Katika akili bandia kwa ujumla, na katika mifano ya lugha kubwa hasa, "hallucination" ni majibu ya kujiamini ambayo haionekani kuhalalishwa na data ya mafunzo ya mfano.