बड़े भाषा मॉडल के बारे में इन अनुच्छेदों को देखते हुए, एलएलएम कब उभरे?एक बड़ा भाषा मॉडल (एलएलएम) एक भाषा मॉडल है जिसमें कई मापदंडों (आमतौर पर अरबों वजन या अधिक) के साथ एक तंत्रिका नेटवर्क होता है, जो स्व-पर्यवेक्षित शिक्षा का उपयोग करके बड़ी मात्रा में बिना लेबल वाले पाठ पर प्रशिक्षित होता है। एलएलएम 2018 के आसपास उभरा और विभिन्न प्रकार के कार्यों में अच्छा प्रदर्शन करता है। इसने विशिष्ट कार्यों के लिए विशिष्ट पर्यवेक्षित मॉडल प्रशिक्षण के पिछले प्रतिमान से प्राकृतिक भाषा प्रसंस्करण अनुसंधान का ध्यान हटा दिया है।

गुण
हालांकि बड़े भाषा मॉडल शब्द की कोई औपचारिक परिभाषा नहीं है, यह अक्सर गहन शिक्षण मॉडल को संदर्भित करता है जिसमें अरबों या उससे अधिक के क्रम पर एक पैरामीटर गणना होती है। एलएलएम सामान्य प्रयोजन के मॉडल हैं जो एक विशिष्ट कार्य (जैसे भावना विश्लेषण, नामित इकाई पहचान, या गणितीय तर्क) के लिए प्रशिक्षित होने के विरोध में कार्यों की एक विस्तृत श्रृंखला में उत्कृष्टता प्राप्त करते हैं। वह कौशल जिसके साथ वे कार्यों को पूरा करते हैं, और कार्यों की श्रेणी जिसमें वे सक्षम हैं, उन्हें समर्पित संसाधनों (डेटा, पैरामीटर-आकार, कंप्यूटिंग शक्ति) की मात्रा का एक कार्य प्रतीत होता है, जो निर्भर नहीं है डिजाइन में अतिरिक्त सफलताओं पर।

हालांकि एक वाक्य में अगले शब्द की भविष्यवाणी करने की तर्ज पर सरल कार्यों पर प्रशिक्षित, पर्याप्त प्रशिक्षण और पैरामीटर गणना वाले तंत्रिका भाषा मॉडल मानव भाषा के वाक्य-विन्यास और शब्दार्थ को पकड़ने के लिए पाए जाते हैं। इसके अलावा, बड़े भाषा मॉडल दुनिया के बारे में काफी सामान्य ज्ञान प्रदर्शित करते हैं, और प्रशिक्षण के दौरान बड़ी मात्रा में तथ्यों को "याद" करने में सक्षम होते हैं।

दु: स्वप्न
मुख्य लेख: मतिभ्रम (कृत्रिम बुद्धि)
सामान्य रूप से आर्टिफिशियल इंटेलिजेंस में, और विशेष रूप से बड़े भाषा मॉडल में, एक "मतिभ्रम" एक आत्मविश्वासपूर्ण प्रतिक्रिया है जो मॉडल के प्रशिक्षण डेटा द्वारा उचित नहीं लगती है।

उभरती हुई क्षमताएँ

प्रश्नों के उत्तर देने जैसे कार्यों से जुड़े कई प्राकृतिक भाषा बेंचमार्क पर, मॉडल तब तक यादृच्छिक मौके से बेहतर प्रदर्शन नहीं करते जब तक कि वे एक निश्चित पैमाने तक नहीं पहुंच जाते (इस मामले में, प्रशिक्षण संगणना द्वारा मापा जाता है), जिस बिंदु पर उनका प्रदर्शन तेजी से बढ़ता है। ये उभरती क्षमताओं के उदाहरण हैं।
अप्रत्याशित क्षमताएं जो बड़े भाषा मॉडल में देखी गई हैं लेकिन जो सरल मॉडल में मौजूद नहीं थीं (और जिन्हें स्पष्ट रूप से मॉडल में डिज़ाइन नहीं किया गया था) को आमतौर पर "आकस्मिक क्षमता" कहा जाता है। शोधकर्ताओं ने ध्यान दिया कि ऐसी क्षमताओं का "केवल छोटे मॉडलों के प्रदर्शन को एक्सट्रपलेशन करके भविष्यवाणी नहीं की जा सकती"। इन क्षमताओं को प्रोग्राम्ड-इन या डिज़ाइन के बजाय खोजा जाता है, कुछ मामलों में एलएलएम सार्वजनिक रूप से तैनात किए जाने के बाद ही। सैकड़ों आकस्मिक क्षमताओं का वर्णन किया गया है। उदाहरणों में मल्टी-स्टेप अंकगणित, कॉलेज स्तर की परीक्षा देना, किसी शब्द के इच्छित अर्थ की पहचान करना, चेन-ऑफ़-थॉट प्रॉम्प्टिंग, [3] अंतर्राष्ट्रीय ध्वन्यात्मक वर्णमाला को डिकोड करना, किसी शब्द के अक्षरों को खोलना, हिंग्लिश के पैराग्राफ में आपत्तिजनक सामग्री की पहचान करना शामिल है। हिंदी और अंग्रेजी का एक संयोजन), और किस्विली कहावतों के समान अंग्रेजी समकक्ष उत्पन्न करना।

वास्तुकला और प्रशिक्षण
बड़े भाषा मॉडल ने आमतौर पर ट्रांसफॉर्मर आर्किटेक्चर का उपयोग किया है, जो 2018 के बाद से अनुक्रमिक डेटा के लिए मानक गहन शिक्षण तकनीक बन गया है (पहले, एलएसटीएम जैसे आवर्तक आर्किटेक्चर सबसे आम थे)। एलएलएम को अनएनोटेटेड टेक्स्ट पर अप्रशिक्षित तरीके से प्रशिक्षित किया जाता है। पिछले संदर्भ को देखते हुए, प्रशिक्षण डेटा में अगले शब्द को निर्दिष्ट संभावना को अधिकतम करने के लिए बाएं से दाएं ट्रांसफॉर्मर को प्रशिक्षित किया जाता है। वैकल्पिक रूप से, एक एलएलएम एक द्विदिश ट्रांसफॉर्मर (बीईआरटी के उदाहरण के रूप में) का उपयोग कर सकता है, जो पूर्ववर्ती और निम्नलिखित दोनों संदर्भों तक पहुंच वाले शब्दों पर संभाव्यता वितरण प्रदान करता है। अगले शब्द की भविष्यवाणी करने या "रिक्त स्थान भरने" के कार्य के अलावा, एलएलएम को सहायक कार्यों पर प्रशिक्षित किया जा सकता है जो डेटा वितरण की उनकी समझ का परीक्षण करते हैं जैसे कि अगली वाक्य भविष्यवाणी (एनएसपी), जिसमें वाक्यों के जोड़े प्रस्तुत किए जाते हैं और मॉडल को भविष्यवाणी करनी चाहिए कि क्या वे प्रशिक्षण कोष में साथ-साथ दिखाई देते हैं।

शुरुआती एलएलएम को अरबों शब्दों के क्रम में कॉर्पोरा पर प्रशिक्षित किया गया था। OpenAI की GPT श्रृंखला में पहला मॉडल 2018 में BookCorpus पर प्रशिक्षित किया गया था, जिसमें 985 मिलियन शब्द शामिल थे। उसी वर्ष, BERT को BookCorpus और English विकिपीडिया के संयोजन पर प्रशिक्षित किया गया, जिसमें कुल 3.3 बिलियन शब्द थे। तब से वर्षों में, एलएलएम के लिए प्रशिक्षण कॉर्पोरा परिमाण के क्रम में बढ़ गया है, जो सैकड़ों अरबों या खरबों टोकन तक पहुंच गया है।

एलएलएम को प्रशिक्षित करना कम्प्यूटेशनल रूप से महंगा है। 2020 के एक अध्ययन ने अनुमान लगाया कि 1.5 बिलियन पैरामीटर मॉडल (उस समय की कला की स्थिति से छोटे परिमाण के 1-2 ऑर्डर) के प्रशिक्षण की लागत $1.6 मिलियन थी।

2020 के एक विश्लेषण में पाया गया कि तंत्रिका भाषा मॉडल की क्षमता (प्रशिक्षण हानि द्वारा मापी गई) एक शक्ति कानून संबंध में मापदंडों की संख्या, प्रशिक्षण डेटा की मात्रा और प्रशिक्षण के लिए उपयोग की जाने वाली गणना के साथ सुचारू रूप से बढ़ी।[11][12] इन संबंधों का मूल्यों की एक विस्तृत श्रृंखला (परिमाण के सात आदेशों तक) पर परीक्षण किया गया था और सीमा के उच्चतम अंत में संबंध का कोई क्षीणन नहीं देखा गया था (पैरामीटर के खरबों तक के नेटवर्क आकार सहित)।

डाउनस्ट्रीम कार्यों के लिए आवेदन
2018 और 2020 के बीच, एक विशिष्ट प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्य के लिए एलएलएम का उपयोग करने की मानक विधि अतिरिक्त कार्य-विशिष्ट प्रशिक्षण के साथ मॉडल को ठीक करना था। यह बाद में पाया गया है कि अधिक शक्तिशाली एलएलएम जैसे जीपीटी-3 "प्रॉम्प्टिंग" तकनीकों के माध्यम से अतिरिक्त प्रशिक्षण के बिना कार्यों को हल कर सकते हैं, जिसमें हल की जाने वाली समस्या को मॉडल के लिए टेक्स्ट प्रॉम्प्ट के रूप में प्रस्तुत किया जाता है, संभवतः इसी तरह के कुछ शाब्दिक उदाहरणों के साथ समस्याएं और उनके समाधान।

फ़ाइन ट्यूनिंग
मुख्य लेख: फ़ाइन-ट्यूनिंग (मशीन लर्निंग)
फाइन-ट्यूनिंग एक मौजूदा पूर्व-प्रशिक्षित भाषा मॉडल को एक विशिष्ट कार्य (जैसे भावना विश्लेषण, नामित इकाई मान्यता, या पार्ट-ऑफ-स्पीच टैगिंग) पर प्रशिक्षित करके (पर्यवेक्षित फैशन में) संशोधित करने का अभ्यास है। यह ट्रांसफर लर्निंग का एक रूप है। इसमें आम तौर पर भाषा मॉडल की अंतिम परत को डाउनस्ट्रीम कार्य के आउटपुट से जोड़ने वाले वजन के एक नए सेट का परिचय शामिल होता है। भाषा मॉडल का मूल भार "स्थिर" हो सकता है, जैसे कि प्रशिक्षण के दौरान उन्हें आउटपुट से जोड़ने वाले वजन की नई परत सीखी जाती है। वैकल्पिक रूप से, मूल वज़न को छोटे अपडेट प्राप्त हो सकते हैं (संभवतः पहले की परतों के जमे हुए होने के साथ)।

उत्साह
इन्हें भी देखें: शीघ्र इंजीनियरिंग और फ़्यू-शॉट लर्निंग (प्राकृतिक भाषा संसाधन)
GPT-3 द्वारा लोकप्रिय प्रांप्टिंग प्रतिमान में, हल की जाने वाली समस्या को एक टेक्स्ट प्रांप्ट के माध्यम से तैयार किया जाता है, जिसे मॉडल को एक पूर्णता (अनुमान के माध्यम से) प्रदान करके हल करना चाहिए। "कुछ-शॉट संकेत" में, संकेत में समान (समस्या, समाधान) जोड़े के उदाहरणों की एक छोटी संख्या शामिल होती है। उदाहरण के लिए, एक फिल्म समीक्षा की भावना को लेबल करने का एक मनोभाव विश्लेषण कार्य निम्नानुसार संकेत दिया जा सकता है:

समीक्षा करें: यह फिल्म बदबू आ रही है।
भाव: नकारात्मक

समीक्षा करें: यह फिल्म शानदार है!
भावना:

यदि मॉडल "सकारात्मक" आउटपुट करता है, तो उसने कार्य को सही ढंग से हल किया है। शून्य-शॉट प्रांप्टिंग में, कोई समाधान उदाहरण प्रदान नहीं किए जाते हैं। समान भावना विश्लेषण कार्य के लिए शून्य-शॉट संकेत का एक उदाहरण होगा "मूवी समीक्षा से जुड़ी भावना 'यह फिल्म शानदार है!' है"।

एलएलएम के कुछ-शॉट प्रदर्शन को एनएलपी कार्यों पर प्रतिस्पर्धी परिणाम प्राप्त करने के लिए दिखाया गया है, कभी-कभी अत्याधुनिक फाइन-ट्यूनिंग दृष्टिकोणों को पार करते हुए। ऐसे एनएलपी कार्यों के उदाहरण अनुवाद, प्रश्न उत्तर, क्लोज़ कार्य, शब्दों को सुलझाना और एक वाक्य में एक उपन्यास शब्द का उपयोग करना है। ऐसे संकेतों के निर्माण और अनुकूलन को शीघ्र इंजीनियरिंग कहा जाता है।

निर्देश ट्यूनिंग
निर्देश ट्यूनिंग फाइन-ट्यूनिंग का एक रूप है जिसे अधिक प्राकृतिक और सटीक जीरो-शॉट प्रांप्टिंग इंटरैक्शन की सुविधा के लिए डिज़ाइन किया गया है। एक पाठ इनपुट दिया गया है, एक पूर्व-प्रशिक्षित भाषा मॉडल एक पूर्णता उत्पन्न करेगा जो उस पाठ के वितरण से मेल खाता है जिस पर इसे प्रशिक्षित किया गया था। एक भोली भाषा के मॉडल ने संकेत दिया "हेमलेट के मुख्य विषयों के बारे में एक निबंध लिखें।" एक पूर्णता प्रदान कर सकता है जैसे "17 मार्च के बाद प्राप्त सबमिशन पर 10% प्रति दिन का जुर्माना लगाया जाएगा।" निर्देश ट्यूनिंग में, भाषा मॉडल को उपयुक्त प्रतिक्रियाओं के साथ-साथ प्राकृतिक भाषा निर्देशों के रूप में तैयार किए गए कार्यों के कई उदाहरणों पर प्रशिक्षित किया जाता है। निर्देश ट्यूनिंग के लिए विभिन्न तकनीकों को व्यवहार में लागू किया गया है। OpenAI के इंस्ट्रक्शनGPT प्रोटोकॉल में मानव-जनित (प्रॉम्प्ट, प्रतिक्रिया) जोड़े के डेटासेट पर पर्यवेक्षित फ़ाइन-ट्यूनिंग शामिल है, जिसके बाद मानव प्रतिक्रिया (RLHF) से सुदृढीकरण सीखना शामिल है, जिसमें मानव वरीयताओं के डेटासेट के आधार पर एक इनाम फ़ंक्शन सीखा गया था। एक अन्य तकनीक, "सेल्फ-इंस्ट्रक्शन", उदाहरणों के एक प्रशिक्षण सेट पर भाषा मॉडल को ठीक करती है जो स्वयं एक एलएलएम (मानव-निर्मित उदाहरणों के एक छोटे प्रारंभिक सेट से बूटस्ट्रैप्ड) द्वारा उत्पन्न होते हैं।

https://en.wikipedia.org/wiki/Large_language_model
� लेखों की सबसे बड़ी ऑनलाइन पुस्तकालय