بالنظر لهذه الفقرات عن نماذج اللغات الكبيرة، ماهي "القدرات الناشئة"؟
Context:نموذج لغوي كبير (LLM) هو نموذج لغوي يتكون من شبكة عصبية مع العديد من المعلمات (عادةً مليارات الوزن أو أكثر) ، مدرب على كميات كبيرة من النص غير المسمى باستخدام التعلم المراقب الذاتي. ظهرت الـ LLM حوالي 2018 وتعمل بشكل جيد في مجموعة واسعة من المهام. هذا حرك تركيز بحث معالجة اللغة الطبيعية بعيدًا عن النموذج السابق لتدريب نماذج خاضعة للإشراف المتخصصة لمهام محددة.  الخصائص وبالرغم من ان مصطلح نموذج لغة كبير ما عنده تعريف رسمي، فغالباً ما يشير الى نماذج التعلم العميق التي لها عدد من المعلمات بمليارات او اكثر. الـ LLM هي نماذج ذات غرض عام تتفوق في مجموعة واسعة من المهام، بدلا من التدريب على مهمة محددة (مثل تحليل المشاعر، التعرف على الكيانات المسماة، أو التفكير الرياضي). المهارة التي ينجزون بها المهام، ومجموعة المهام التي هم قادرون عليها، يبدو انها دالة على كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المكرسة لهم، بطريقة لا تعتمد على اختراقات إضافية في التصميم.  بالرغم من تدريبهم على المهام البسيطة على غرار التنبؤ بالكلمة التالية في الجملة، فالنماذج اللغوية العصبية مع تدريب كافي وعدد المعلمات تكتشف أنها تلتقط الكثير من تركيب اللغة والمعاني للغة البشرية. وبالاضافه الى ذلك، النماذج اللغوية الكبيرة تظهر معرفة عامة كبيرة عن العالم، ويمكنها "تتذكر" كمية كبيرة من الوقائع خلال التدريب.  هلوسات المقالة الرئيسية: الهلوسة في الذكاء الاصطناعي بشكل عام، وفي النماذج اللغوية الكبيرة بشكل خاص، "الهلوسة" هو استجابة واثقة لا تبدو مبررة من خلال بيانات تدريب النموذج.  قدرات ناشئة  على عدد من معايير اللغة الطبيعية التي تتضمن مهام مثل الإجابة على الأسئلة، لا تؤدي النماذج بشكل أفضل من فرصة عشوائية حتى تصل إلى مقياس معين (في هذه الحالة، مقاسة بحساب التدريب) ، وعند هذه النقطة تزيد أدائها بشكل حاد. هذي أمثلة على قدرات ناشئة. القدرات الغير متوقعة التي لوحظت في نماذج اللغة الكبيرة لكن لم تكن موجودة في نماذج أبسط (والتي لم تكن مصممة بشكل صريح في النموذج) عادةً تسمى "القدرات الناشئة". ويقول الباحثون ان هذه القدرات "لا يمكن التنبؤ بها ببساطة عن طريق استنتاج الاداءات من النماذج الصغيرة". هذي القدرات تكتشف بدلا من ان تكون مبرمجة او مصممة، في بعض الحالات بعد ان يتم نشر LLM علنا. وصفت المئات من القدرات الناشئة. وَمِثَالُهُ حِسَابُ عَدَدِ الْخُطُوَاتِ، وَاخْتِيَارُ الْمَحَامِلِ الْكُلِسِيَّةِ، وَتَحْدِيدُ الْمَعْنَى الْمُقْصَدِ لِكَلِمَةٍ، وَالتَّحْذِيرُ مِنْ سِلْسِلَةِ الْفِكْرِ، وَكَشْفُ الْحُرُوفِ الْمُسَمَّاةِ لِكَلِمَةٍ، وَتَحْدِيدُ الْمُضَايِفِ فِي مَجَالِسِ الْهِنْجِلِشِ (الْهِنْجِلْشِ وَالْإِنْجِلْسِيِّ) ، وَتَت  العمارة والتدريب النماذج اللغوية الكبيرة استخدمت بشكل شائع معمارية المحول ، والتي ، منذ عام 2018 ، أصبحت تقنية التعلم العميق القياسية للبيانات المتسلسلة (في السابق ، كانت المعماريات المتكررة مثل LSTM هي الأكثر شيوعًا). المعلمون المهنيون يتدربون بدون مراقبة على نص غير مفصل. مبدل من اليسار الى اليمين مدرب علشان يزيد من الاحتمال المخصص لكلمة التالية في بيانات التدريب، بالنظر للسياق السابق. وبدلا من ذلك، يمكن لـ LLM ان يستخدم محول ثنائي الاتجاه (كما في مثال BERT) ، والذي يعين توزيع الاحتمال على الكلمات الممنوحة الوصول لكل من السياق السابق والسياق التالي. بالاضافة الى مهمة التنبؤ بالكلمة التالية او "ملء الفراغات"، يمكن تدريب علماء اللغة على مهام مساعدة التي تختبر فهمهم لتوزيع البيانات مثل التنبؤ بالجملة التالية (NSP) ، حيث يتم تقديم أزواج من الجمل ويجب على النموذج التنبؤ اذا كانت تظهر جنبا الى جنب في المجموعة التدريبية.  اول ال ال ال ال ام تدربوا على ال كلمات التي تحتوي على مليارات الكلمات. النموذج الاول في سلسلة GPT لـ OpenAI تم تدريبه في 2018 على BookCorpus، والذي يتكون من 985 مليون كلمة. في نفس السنه، تم تدريب بيرت على مزيج من بوك كوربس و ويكيبيديا الانجليزية، بجميع 3.3 مليار كلمة. ففي السنوات اللى تلت ذلك، زادت الهيئات التدريبية لـ LLM بأوامر من الحجم، ووصلت الى مئات المليارات او تريليونات الرموز.  الـ إل إل إم مكلفة حسابيا للتدريب. كشفت دراسة عام 2020 ان تكلفة تدريب نموذج معيار 1.5 مليار (1-2 ترتيب من الحجم الأصغر من حالة الفن في ذلك الوقت) بـ 1.6 مليون دولار.  ووجد تحليل عام 2020 ان قدرة نماذج اللغة العصبية (كما يقاس بفقدان التدريب) زادت بسلاسة في علاقة قانون القوة مع عدد المعلمات، وكمية بيانات التدريب، والحساب المستخدم للتدريب. هذي العلاقات تم اختبارها على نطاق واسع من القيم (حتى سبع مراتب من الحجم) ولم يلاحظ اي تخفيف للعلاقة في اعلى نهاية النطاق (بما في ذلك لحجم الشبكة حتى تريليونات من المعلمات).  التطبيق على المهام اللاحقة بين 2018 و 2020 ، كانت الطريقة القياسية لاستغلال LLM لمهمة معينة معالجة اللغة الطبيعية (NLP) هي ضبط النموذج بالتدريب الإضافي المحدد للمهمة. بعد كده، وُجد ان الـ LLM الاكثر قوة كـ GPT-3 يقدرون على حل المهام بدون تدريب إضافي عن طريق تقنيات "التوجيه" ، حيث يتم تقديم المشكلة التي يجب حلها للنموذج كطلب نصي ، ربما مع بعض الأمثلة النصية للمشاكل المماثلة وحلولها.  ضبط دقيق المقالة الأساسية: التنظيم الدقيق (التعلم الآلي) الاصلاح الدقيق هو ممارسة تعديل نموذج لغوي موجود تم تدريبه مسبقاً عن طريق تدريبه (بطريقة خاضعة للإشراف) في مهمة محددة (مثل تحليل المشاعر، التعرف على الكيانات المسماة، أو وضع علامات على أجزاء من الكلام). هو شكل من أشكال التعلم النقلي. عادةً يشتمل على إدخال مجموعة جديدة من الأوزان التي تربط الطبقة الأخيرة من نموذج اللغة بمخرجات المهمة التالية. الوزن الاصلي لنموذج اللغة ممكن يكون "مجمد" ، بحيث يتم تعلم طبقة الوزن الجديدة فقط التي تربطهم بالمخرج خلال التدريب. بجانب، الوزن الاصلي ممكن يحصل على تحديثات صغيرة (ربما مع طبقات سابقة متجمدة).  يطلبني انظر ايضا: هندسة سريعة وتعلم سريع (معالجة اللغة الطبيعية) في نموذج التوجيه، الذي انتشر بواسطة GPT-3، يتم صياغة المشكلة المطلوب حلها عن طريق تلميح نصي، والذي يجب على النموذج حله من خلال توفير الانتهاء (عن طريق الاستنتاج). فـي الـ"تـحـثـيـر الـمـنـفـذ" ، يـتـضـمـن الـحـث عـدداً صغيـراً مـن الأمثـل لـ (المسـألة، الحل) الزوجات المماثلة. مثلًا، مهمة تحليل المشاعر لتسمية مشاعر مراجعة الفيلم يمكن ان تتم على النحو التالي:  مراجعة: هذا الفيلم مقرف. مشاعر: سلبية  مراجعة: هذا الفيلم رائع! شعور:  اذا النموذج يخرج "إيجابي"، فانه حل المهمة بشكل صحيح. فـي الـمُسْتَفْجِرِ الـصَفْرِي، لا مَثَلَاتِ حَلٍّ مَوْضُوعَة. مثال على طلب الصفر لتحليل المشاعر نفس المهمة هو "الشعور المرتبط بمراجعة الفيلم 'هذا الفيلم رائع!' "  وُضِحَ بِأَنَّ أداء الـ LLM بِقليل من الطلقات يُحقق نتائج تنافسية في مهام NLP، وأحياناً يَتفوق على أساليب التكيف الدقيق السابقة. من الأمثلة على هذه المهام NLP هي الترجمة، والإجابة على الأسئلة، ومهمات cloze، وكشف الكلمات، واستخدام كلمة جديدة في الجملة. إنشاء وتحسين مثل هذه الإشارات يُدعى هندسة الإشارة.  توجيه التعليمات التوجيه بالدليل هو شكل من أشكال التوجيه الدقيق المصمم لتسهيل تفاعلات التوجيه بالرصاص الصفري بشكل طبيعي ودقيق. مع إدخال نص، نموذج لغة تم تدريبه مسبقاً سيوفر استكمالاً يتطابق مع توزيع النص الذي تم تدريبه عليه. نموذج لغوي ساذج يعطيه المطلوب "اكتب مقال عن المواضيع الرئيسية لهاملت". يمكن ان يوفر اكتمال مثل "ستتم تطبيق عقوبة تأخير 10% يوميا على المقدمات المستلمة بعد 17 مارس". في ضبط التعليمات، يتم تدريب النموذج اللغوي على العديد من الأمثلة على المهام المصممة كإرشادات اللغة الطبيعية، جنبًا إلى جنب مع الردود المناسبة. طرق مختلفة لتعديل التعليمات تم تطبيقها في الممارسة. بروتوكول OpenAI InstructGPT يشتمل على ضبط دقيق تحت الإشراف على مجموعة بيانات من الأزواج المولدة من قبل الإنسان (الرد السريع) ، تليها التعلم بالتعزيز من ردود الفعل البشرية (RLHF) ، حيث تم تعلم وظيفة المكافأة على أساس مجموعة بيانات التفضيلات البشرية. تقنية اخرى، "التعليم الذاتي"، تحسّن نموذج اللغة على مجموعة تدريبية من الأمثلة التي تولّدها LLM (مُستحضر من مجموعة أولية صغيرة من الأمثلة التي تولّدها البشر).  https://en.wikipedia.org/wiki/Large_language_model
القدرات الغير متوقعة التي لوحظت في نماذج اللغة الكبيرة لكن لم تكن موجودة في نماذج أبسط (والتي لم تكن مصممة بشكل صريح في النموذج) عادةً تسمى "القدرات الناشئة". ويقول الباحثون ان هذه القدرات "لا يمكن التنبؤ بها ببساطة عن طريق استنتاج الاداءات من النماذج الصغيرة". هذي القدرات تكتشف بدلا من ان تكون مبرمجة او مصممة، في بعض الحالات بعد ان يتم نشر LLM علنا.