بالنظر للفقرات دي عن النماذج اللغوية الكبيرة، فما هي الأبعاد اللي بتؤثر على المهارة اللي بتنجز بيها المهام، ومجموعة المهام اللي هي قادرة عليها؟
Context:نموذج لغوي كبير (LLM) هو نموذج لغوي يتكون من شبكة عصبية مع العديد من المعلمات (عادةً مليارات الأوزان أو أكثر) ، مدرب على كميات كبيرة من النص غير المسمى باستخدام التعلم المراقب الذاتي. ظهرت LLMs حوالي سنة 2018 و بتعمل بشكل كويس في مجموعة واسعة من المهام. ده حرك تركيز أبحاث معالجة اللغة الطبيعية بعيدًا عن النموذج السابق لتدريب نماذج متخصصة مشرف عليها لمهمات معينة.  خصائص بالرغم من إن مصطلح نموذج لغة كبير ما بيكونش له تعريف رسمي، إلا إنه في الغالب بيعبر عن نماذج التعلم العميق اللي ليها عدد من المعلمات بمليارات أو أكتر. الـ إل إل إم هي نماذج لغرض عام بتتفوق في مجموعة واسعة من المهام، على عكس تدريبها لمهمة واحدة محددة (زي تحليل المشاعر أو التعرف على الكيانات المسماة أو التفكير الرياضي). المهارة اللي بينجزوا بها المهام، ومجموعة المهام اللي بيكونوا قادرين عليها، بيبدو إنها دالة على كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المكرسة ليهم، بطريقة مش بتعتمد على اختراقات إضافية في التصميم.  مع إنه تم تدريبهم على المهام البسيطة على غرار التنبؤ بالكلمة الجاية في جملة، فأن نماذج اللغة العصبية اللي عندها تدريب كاف وعدد المعلمات بتتعرف على كتير من بناء الجملة والمعاني للغة البشرية. بالإضافة إلى ذلك، بيدل نماذج اللغة الكبيرة على معرفة عامة كبيرة عن العالم، وهي قادرة على "تذكر" كمية كبيرة من الحقائق أثناء التدريب.  هلوسينات المقالة الرئيسية: الهلوسة (ذكاء اصطناعي) في الذكاء الاصطناعي بشكل عام، وفي نماذج اللغة الكبيرة على وجه الخصوص، "الهلوسة" هي استجابة واثقة مش بتبدو إنها بتبقى مبررة من خلال بيانات تدريب النموذج.  القدرات الناشئة  في عدد من معايير اللغة الطبيعية اللي بتتضمن مهام زي الإجابة على الأسئلة، النماذج ما بتعملش أحسن من فرصة عشوائية حتى توصلوا لمقياس معين (في الحالة دي، بيتقاس عن طريق حساب التدريب) ، وعندها بتزداد أدائها بشكل كبير. دي أمثلة على قدرات ناشئة. القدرات الغير متوقعة اللي اتلاحظت في نماذج لغة كبيرة بس مش موجودة في نماذج أبسط (واللي مش اتصممت بشكل صريح في النموذج) عادةً بتتسمى "القدرات الناشئة". ولاحظ الباحثون إن القدرات دي "ممكنش تتوقع ببساطة عن طريق استنتاج أداء نماذج أصغر". القدرات دي بتتكتشف بدل ما تكون مبرمجة أو مصممة، في بعض الحالات بعد ما يتم نشر LLM علناً. وصفت المئات من القدرات الناشئة. ومن الأمثلة على ذلك حساب متعدد الخطوات ، وأخذ امتحانات على مستوى الكلية ، وتحديد المعنى المقصود للكلمة ، وتحديد سلسلة التفكير ، وتفكيك الأبجدية الصوتية الدولية ، وتفكيك أحرف الكلمة ، وتحديد المحتوى المسيء في فقرات اللغة الهندية (مزيج من اللغة الهندية واللغة الإنجليزية) ، وتوليد ما يعادل اللغة الإنجليزية من الأمثال الكسواحيلية.  الهندسة المعمارية والتدريب نماذج اللغات الكبيرة استخدمت بشكل شائع بنية المحول، واللي، من سنة 2018، بقت تقنية التعلم العميق القياسية للبيانات المتسلسلة (في السابق، كانت المعماريات المتكررة زي LSTM هي الأكثر شيوعًا). بيتم تدريب LLMs بطريقة غير مشرفة على نص مش مفسر. بيتم تدريب محول يسار لليمين عشان يزيد من احتمال تعيين الكلمة الجاية في بيانات التدريب، بالنظر للسياق السابق. وبدل من كده، ممكن يستخدم LLM محول ثنائي الاتجاه (زي ما هو الحال في مثال BERT) ، واللي بيعين توزيع احتمال على الكلمات اللي بتتيح الوصول لكل من السياق السابق والسياق التالي. بالإضافة إلى مهمة التنبؤ بالكلمة التالية أو "ملء الفراغات" ، يمكن تدريب LLMs على مهام مساعدة بتختبر فهمهم لتوزيع البيانات مثل التنبؤ بالجملة التالية (NSP) ، حيث يتم تقديم أزواج من الجمل ويجب على النموذج التنبؤ بما إذا كانت تظهر جنب إلى جنب في مجموعة التدريب.  تم تدريب أول LLM على الجماعات اللي ليها مليارات الكلمات. تم تدريب النموذج الأول في سلسلة GPT من OpenAI في عام 2018 على BookCorpus ، واللي يتكون من 985 مليون كلمة. في نفس السنة، تم تدريب BERT على مزيج من BookCorpus و English Wikipedia، بجمع 3.3 مليار كلمة. في السنوات اللي بعد كده، زادت مؤسسات التدريب للماجستير في القانون بأوامر من الحجم، ووصلت لمئات المليارات أو تريليونات الرموز.  تدريب LLM مكلف حسابياً. قدرت دراسة سنة 2020 تكلفة تدريب نموذج بقياس 1.5 مليار (1-2 أوامر من الحجم الأصغر من حالة الفن في الوقت ده) بمبلغ 1.6 مليون دولار.  وجد تحليل سنة 2020 إن قدرة نماذج اللغة العصبية (زي ما تقاس بخسارة التدريب) زادت بسلاسة في علاقة قانون القوة بعدد المعلمات، وكمية بيانات التدريب، والحساب المستخدم للتدريب. تم اختبار العلاقات دي على نطاق واسع من القيم (حتى سبعة أوامر من الحجم) ومش لوحظ أي تضعيف للعلاقة في أعلى نهاية النطاق (بما في ذلك لأحجام الشبكات حتى تريليونات من المعلمات).  التطبيق على المهام اللي بعد التسليم بين 2018 و 2020 ، كانت الطريقة القياسية لاستغلال LLM لمهمة معينة في معالجة اللغة الطبيعية (NLP) هي ضبط النموذج بتدريب إضافي خاص بالمهمة. بعد كده، اتبين إن أجهزة التعليم المكتبي الأكتر قوة زي GPT-3 بتقدر تحل المهام من غير تدريب إضافي عن طريق تقنيات "التحفيز" ، واللي بتتم فيها تقديم المشكلة اللي لازم تحلها للنموذج على شكل تحفيز نصي ، وربما مع بعض الأمثلة النصية للمشاكل المتشابهة وحلولها.  تنسيق دقيق المقالة الرئيسية: التنظيم الدقيق (التعلم الآلي) التنظيم الدقيق هو ممارسة تعديل نموذج لغة متدرب مسبقًا موجودًا عن طريق تدريبه (بطريقة مشرفة) في مهمة محددة (مثل تحليل المشاعر أو التعرف على الكيانات المسماة أو وضع علامات على أجزاء من الكلام). ده شكل من أشكال التعلم النقل. عادةً بتتضمن إدخال مجموعة جديدة من الأوزان اللي بتربط الطبقة الأخيرة من نموذج اللغة بمخرجات المهمة اللي بعد التيار. ممكن "يتم تجميد" الأوزان الأصلية لنموذج اللغة، بحيث تتم تعلم طبقة الأوزان الجديدة بس اللي بتربطها بالمخرجات أثناء التدريب. وبالإضافة، ممكن تتلقى الأوزان الأصلية تحديثات صغيرة (ربما مع تجميد الطبقات اللي قبل كده).  تلميح شوف كمان: هندسة الفورية وتعلم القليل من الطلقات (معالجة اللغة الطبيعية) في نموذج التوجيه ، اللي اتشاع من قبل GPT-3 ، بيتم صياغة المشكلة اللي لازم تحلها عن طريق دعوة نصية ، واللي يجب على النموذج يحلها عن طريق توفير إكمال (عن طريق الاستدلال). في "إستدعاء القليل من الطلقات" ، يتضمن الإستدعاء عدد قليل من الأمثلة على أزواج متشابهة (مشكلة ، حل). على سبيل المثال، ممكن يتم تحفيز مهمة تحليل المشاعر لتسمية مشاعر مراجعة فيلم على النحو التالي:  مراجعة: الفيلم ده فاشل. مشاعر: سلبية  مراجعة: الفيلم ده رائع! شعور:  لو النموذج بيخرج "إيجابي" ، فإنه حل المهمة بشكل صحيح. في إغراء الصورة الصفرية، ما فيش أمثلة حل. مثال على طلب إطلاق الصفر لنفس مهمة تحليل المشاعر هو "الشعور المرتبط بمراجعة الفيلم 'هذا الفيلم رائع!' ".  اتبين إن أداء القليل من اللقطات من LLMs لتحقيق نتائج تنافسية في مهام NLP، في بعض الأحيان يتفوق على أساليب التنظيم الدقيق السابقة. أمثلة لمهمات البرمجة الوطنية اللغوية دي هي الترجمة، وإجابة الأسئلة، ومهمات التوقف عن العمل، وإزالة التشويش من الكلمات، واستخدام كلمة جديدة في جملة. بيتقال على إنشاء وتحسين الإشارات دي هندسة الإشارات.  ضبط التعليمات تنسيق التعليمات هو شكل من أشكال التنسيق الدقيق المصمم لتسهيل تفاعلات استفزازية أكثر طبيعية ودقة. مع إدخال نص، نموذج لغة متدرب مسبقًا بيحقق إكمال يتناسب مع توزيع النص اللي اتدرب عليه. ممكن يقدم نموذج لغة ساذج عند إعطائه المطلب "اكتب مقال عن المواضيع الرئيسية لهاملت. " إكمال مثل "ستتم تطبيق عقوبة تأخير بنسبة 10٪ في اليوم الواحد على المشاركات المستلمة بعد 17 مارس". في ضبط التعليمات، بيتم تدريب نموذج اللغة على كتير من الأمثلة على المهام اللي اتعملت كتعليمات اللغة الطبيعية، جنبًا إلى جنب مع الردود المناسبة. تم تطبيق تقنيات مختلفة لتعديل التعليمات في الممارسة العملية. بيشتمل بروتوكول InstructGPT من OpenAI على ضبط دقيق تحت الإشراف على مجموعة بيانات من أزواج (سريع ، استجابة) من إنتاج الإنسان ، تليها التعلم بالتعزيز من ردود الفعل البشرية (RLHF) ، حيث تم تعلم وظيفة المكافأة بناءً على مجموعة بيانات التفضيلات البشرية. تقنية تانية، "التعليم الذاتي"، بتعمل ضبط دقيق لنموذج اللغة على مجموعة تدريبية من الأمثلة اللي بتتولى نفسها من قبل LLM (تتم إعادة تشغيلها من مجموعة أولية صغيرة من الأمثلة اللي بيعملها الإنسان).  https://en.wikipedia.org/wiki/Large_language_model
كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المخصصة لها، بطريقة مش بتعتمد على اختراقات إضافية في التصميم.