نظرا لهذه الفقرات عن نماذج اللغة الكبيرة، ماهي "القدرات الناشئة"؟
Context:نموذج لغوي كبير (LLM) هو نموذج لغوي يتكون من شبكة عصبية مع العديد من المعلمات (عادةً مليارات الأوزان أو أكثر) ، مدربة على كميات كبيرة من النص غير المسمى باستخدام التعلم المراقب الذاتي. ظهرت الـ LLM حوالي عام 2018 وتعمل بشكل جيد في مجموعة واسعة من المهام. هذا غير تركيز بحث معالجة اللغة الطبيعية بعيدًا عن النموذج السابق لتدريب نماذج متخصصة تحت الإشراف لمهام محددة.  خصائص بالرغم من ان مصطلح نموذج لغوي كبير ليس لديه تعريف رسمي، فغالبا ما يشير الى نماذج التعلم العميق التي لها عدد من المعلمات بمليارات او اكثر. الـ LLM هي نماذج ذات غرض عام تتفوق في مجموعة واسعة من المهام، بدلاً من تدريبها لمهمة محددة (مثل تحليل المشاعر، التعرف على الكيانات المسماة، أو التفكير الرياضي). المهارة التي ينجزون بها المهام، ومجموعة المهام التي هم قادرون عليها، يبدو أنها دالة على كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المخصصة لهم، بطريقة لا تعتمد على اختراقات إضافية في التصميم.  بالرغم من تدريبها على مهام بسيطة على غرار التنبؤ بالكلمة التالية في جملة، فأن نماذج اللغة العصبية التي لديها تدريب كاف ومعدلات المعلمات تكتشف أنها تلتقط الكثير من تركيب اللغة البشرية وشروطها. بالإضافة، نماذج اللغة الكبيرة تظهر معرفة عامة كبيرة عن العالم، وهي قادرة على "تذكر" كمية كبيرة من الحقائق أثناء التدريب.  هلوسينات المقال الرئيسي: الهلوسة في الذكاء الاصطناعي بشكل عام، وفي نماذج اللغة الكبيرة بشكل خاص، "الهلوسة" هو استجابة واثقة لا يبدو أنها مبررة من قبل بيانات تدريب النموذج.  قدرات ناشئة  في عدد من معايير اللغة الطبيعية التي تتضمن مهام مثل الإجابة على الأسئلة، النماذج لا تؤدي بشكل أفضل من فرصة عشوائية حتى تصل إلى مقياس معين (في هذه الحالة، يقاس بحساب التدريب) ، وفي هذه المرحلة يزداد أداؤها بشكل حاد. هذه أمثلة على قدرات ناشئة. القدرات الغير متوقعة التي لوحظت في نماذج لغات كبيرة لكن لم تكن موجودة في نماذج أبسط (والتي لم تكن مصممة بشكل صريح في النموذج) عادة ما تسمى "القدرات الناشئة". يلاحظ الباحثون ان هذه القدرات "لا يمكن التنبؤ بها ببساطة عن طريق استنتاج أداء نماذج أصغر". هذي القدرات تكتشف بدلا من ان تكون مبرمجة او مصممة، في بعض الحالات بعد ان يتم نشر LLM علنا. المئات من القدرات الناشئة وصفت. من الأمثلة على ذلك حسابات متعددة الخطوات، اجتياز امتحانات على مستوى الجامعة، تحديد المعنى المقصود لكلمة، توجيه سلسلة الفكر، فك تشفير الأبجدية الصوتية الدولية، فك حروف الكلمة، تحديد المحتوى الهجومي في فقرات من اللغة الهندية (جمع بين الهندية واللغة الإنجليزية) ، وتوليد ما يعادل المثل الإنجليزية المماثلة للكسواحيلي.  معماريه وتدريب النماذج اللغوية الكبيرة استخدمت بشكل شائع معمارية المحول، والتي، منذ عام 2018، أصبحت تقنية التعلم العميق القياسية للبيانات المتسلسلة (في السابق، كانت المعماريات المتكررة مثل LSTM هي الأكثر شيوعًا). المعلمون المهنيون يتدربون بدون مراقبة على نص غير مفصل. مبدل يسار لليمين مدرب ليعظم الاحتمال المخصص للكلمة التالية في بيانات التدريب، بالنظر للسياق السابق. وبدلًا من ذلك، يمكن لـ LLM استخدام محول ثنائي الاتجاه (كما في مثال BERT) ، والذي يعين توزيع احتمال على الكلمات التي تمنح الوصول إلى كل من السياق السابق والسياق التالي. بالإضافة إلى مهمة التنبؤ بالكلمة التالية أو "ملء الفراغات"، يمكن تدريب LLMs على مهام مساعدة التي تختبر فهمهم لتوزيع البيانات مثل التنبؤ بالجملة التالية (NSP) ، حيث يتم تقديم أزواج من الجمل ويجب على النموذج التنبؤ بما إذا كانت تظهر جنبًا إلى جنب في المجموعة التدريبية.  اول ال ال ال ال م تدربوا على ال كلمات اللي فيها مليارات الكلمات أول نموذج في سلسلة GPT لـ OpenAI تم تدريبه في 2018 على BookCorpus، يتكون من 985 مليون كلمة. في نفس السنه، تم تدريب برت على مزيج من بوك كوربس و ويكيبيديا الانجليزية، بلغ مجموعها 3.3 مليار كلمة. في السنوات من وقتها، كيانات التدريب لـ LLMs زادت بأوامر من الحجم، وصلت إلى مئات المليارات أو تريليونات من الرموز.  الـ LLM مكلفين حسابياً لتدريبهم. دراسة عام 2020 قدرت تكلفة تدريب نموذج معيار 1.5 مليار (1-2 أوامر من الحجم أصغر من حالة الفن في ذلك الوقت) بمبلغ 1.6 مليون دولار.  تحليل 2020 وجد ان قدرة نماذج اللغة العصبية (كما يقاس بفقدان التدريب) زادت بسلاسة في علاقة قانون القوة مع عدد المعلمات، كمية بيانات التدريب، والحسابات المستخدمة للتدريب. هذه العلاقات تم اختبارها على نطاق واسع من القيم (حتى سبع مراتب من الحجم) ولم يلاحظ أي تضعيف للعلاقة في أعلى نهاية النطاق (بما في ذلك لأحجام الشبكات تصل إلى تريليونات من المعلمات).  تطبيق على المهام اللاحقة بين 2018 و2020، كانت الطريقة القياسية لاستغلال ماجستير في القانون لمهمة معينة في معالجة اللغة الطبيعية (NLP) هي تحسين النموذج بتدريب إضافي محدد للمهمة. لاحقاً، تبين ان الـ LLM الاكثر قوة مثل GPT-3 قادرة على حل المهام بدون تدريب إضافي عن طريق تقنيات "التحفيز"، حيث يتم تقديم المشكلة التي يجب حلها للنموذج كحافز نصي، وربما مع بعض الأمثلة النصية للمشاكل المماثلة وحلولها.  ضبط دقيق المقال الرئيسي: تحسين (تعلم الآلة) التنظيم الدقيق هو ممارسة تعديل نموذج لغوي متدرب مسبقاً من خلال تدريبه (بطريقة خاضعة للإشراف) في مهمة محددة (مثل تحليل المشاعر، التعرف على الكيانات المسماة، أو وضع علامات على أجزاء من الكلام). هو شكل من أشكال التعلم النقلي. عادةً يتضمن إدخال مجموعة جديدة من الأوزان تربط الطبقة الأخيرة من نموذج اللغة بمخرجات المهمة التالية. الوزن الأصلي لنموذج اللغة ممكن يكون "مجمّد"، بحيث لا يتم تعلم سوى الطبقة الجديدة من الوزن التي تربطها بالمخرجات خلال التدريب. وبدلا من ذلك، الوزن الأصلي قد يتلقى تحديثات صغيرة (ربما مع طبقات سابقة متجمدة).  يطلب انظر ايضاً: هندسة سريعة وتعلم سريع (معالجة اللغة الطبيعية) في نموذج التوجيه، الذي شهرته GPT-3, يتم صياغة المشكلة التي يجب حلها عن طريق تلميح نصي، والذي يجب على النموذج حله من خلال توفير الانتهاء (عن طريق الاستدلال). في "فير شوت بريمبتينج"، بريمبتينج يشمل عدد قليل من الأمثلة على أزواج متشابهة (مشكلة، حل). مثلاً، مهمة تحليل المشاعر لتسمية مشاعر مراجعة فيلم يمكن أن تتم على النحو التالي:  هذا الفيلم مقرف. مشاعر: سلبيه  هذا الفيلم رائع! شعور:  لو النموذج خرج "إيجابي"، فهو حل المهمة بشكل صحيح. في طلب الصورة الصفرية، لا توجد أمثلة حل. مثال على طلب الصفر لتحليل المشاعر هو "الشعور المرتبط بمراجعة الفيلم 'هذا الفيلم رائع!' هو".  أداء القليل من الـ LLMs قد تبين لتحقيق نتائج تنافسية في مهام NLP، في بعض الأحيان يتفوق على أساليب التنظيم الدقيق السابقة. أمثلة على هذه المهام هي الترجمة، والإجابة على الأسئلة، ومهمات التوقف، وفتح الكلمات، واستخدام كلمة جديدة في جملة. إنشاء وتحسين مثل هذه الإشارات يسمى هندسة الإشارات.  ضبط التعليمات ضبط التعليمات هو شكل من أشكال ضبط الدقيق مصمم لتسهيل تفاعلات التوجيه الصفري الأكثر طبيعية ودقة. مع إدخال نص، نموذج لغة مدرب مسبقاً سيولد إكمالاً يتطابق مع توزيع النص الذي تم تدريبه عليه. نموذج لغوي ساذج يعطيه المطلوب "اكتب مقال عن المواضيع الرئيسية لهاملت". قد يوفر اكتمال مثل "عقوبة تأخير 10% يومياً ستطبق على المراسلات المستلمة بعد 17 مارس". في ضبط التعليمات، نموذج اللغة مدرب على العديد من الأمثلة على المهام المصممة كإرشادات اللغة الطبيعية، جنبا إلى جنب مع الردود المناسبة. تطبق في الممارسه تقنيات مختلفة لتعديل التعليمات. بروتوكول InstructGPT من OpenAI يتضمن ضبط دقيق تحت الإشراف على مجموعة بيانات من أزواج (سريع، استجابة) من إنسان، تليها تعزيز التعلم من ردود الفعل البشرية (RLHF) ، حيث تم تعلم وظيفة مكافأة على أساس مجموعة بيانات التفضيلات البشرية. تقنية اخرى، "التعليم الذاتي"، تحسّن نموذج اللغة على مجموعة تدريبية من الأمثلة التي تم إنشاؤها بنفسها بواسطة LLM (تم إعادة تشغيلها من مجموعة أولية صغيرة من الأمثلة التي أنشأها الإنسان).  https://en.wikipedia.org/wiki/Large_language_model
القدرات الغير متوقعة التي لوحظت في نماذج لغات كبيرة لكن لم تكن موجودة في نماذج أبسط (والتي لم تكن مصممة بشكل صريح في النموذج) عادة ما تسمى "القدرات الناشئة". يلاحظ الباحثون ان هذه القدرات "لا يمكن التنبؤ بها ببساطة عن طريق استنتاج أداء نماذج أصغر". هذي القدرات تكتشف بدلا من ان تكون مبرمجة او مصممة، في بعض الحالات بعد ان يتم نشر LLM علنا.