بعد هالفقرات عن النماذج اللغوية الكبيرة، أي ساعة تم تدريب أول نموذج في سلسلة GPT لـ OpenAI؟
Context:نموذج لغوي كبير (LLM) هو نموذج لغوي يتكون من شبكة عصبية مع العديد من المعلمات (عادة مليارات الأوزان أو أكتر) ، مدرب على كميات كبيرة من النص غير المسمى باستخدام التعلم المراقب ذاتيًا. ظهرت الـ LLM حوالي سنة 2018 و بتعمل منيح في مجموعة واسعة من المهام. هاد غير تركيز البحث عن معالجة اللغة الطبيعية عن النموذج السابق لتدريب نماذج متخصصة تحت الإشراف لمهام محددة.  خصائص بالرغم من إن مصطلح نموذج لغة كبير ما بيحتوي على تعريف رسمي، إلا إنه غالبًا بيشير لموديلات التعلم العميق اللي ليها عدد من المعلمات بمليارات أو أكتر. إل إل إم هيدي نماذج لغرض عام بتتفوق في مجموعة واسعة من المهام، بدل ما تتدرب على مهمة معينة (زي تحليل المشاعر، التعرف على الكيانات المسمية، أو التفكير الرياضي). المهارة اللي بينجزوا بيها المهام، ومجموعة المهام اللي بيقدروا ينجزوها، بيبدو إنها دالة على كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المخصصة لهن، بطريقة مش بتعتمد على إنجازات إضافية في التصميم.  بالرغم من التدريب على المهام البسيطة زي التنبؤ بالكلمة الجاية في جملة، فنموذج اللغة العصبية مع تدريب كفاية وعدد المعلمات لاقوا كتير من تركيب اللغة الإنسانية وشرحها. بالإضافة، النماذج اللغوية الكبيرة بتبدي معرفة عامة كبيرة عن العالم، وهي قادرة على "تذكر" كمية كبيرة من الحقائق أثناء التدريب.  هلوسينات المقال الرئيسي: الهلوسة (الذكاء الاصطناعي) في الذكاء الاصطناعي بشكل عام، وفي النماذج اللغوية الكبيرة بشكل خاص، "الهلوسة" هيي استجابة ثقة ما بتبدو مبررة من خلال بيانات تدريب النموذج.  قدرات طارئة  ععدد من معايير اللغة الطبيعية اللي بتتضمن مهام زي الإجابة على الأسئلة، النماذج ما بتعمل أحسن من فرصة عشوائية حتى توصلوا لمقياس معين (في الحالة دي، مقاس عن طريق حساب التدريب) ، وعندها بتزايد أدائها بشكل كبير. هيدا أمثلة على القدرات الناشئة. القدرات الغير متوقعة اللي لوحظت في نماذج لغات كبيرة بس ما كانت موجودة في نماذج أبسط (واللي ما اتصممت بشكل صريح في النموذج) عادة بتتسمى "القدرات الناشئة". الباحثين بيقولوا إن القدرات دي "مش ممكن تتوقع ببساطة عن طريق استنتاج أداء نماذج أصغر". هاي القدرات بتكتشف بدل ما تكون مبرمجة أو مصممة، في بعض الحالات بس بعد ما يتم نشر LLM علنا. تم وصف مئات القدرات الناشئة. إمثال على هيك: حساب متعدد الخطوات، اجتياز امتحانات على مستوى الجامعة، تحديد المعنى المقصود لكلمة، تنبيه سلسلة الأفكار، فك رمزية الأبجدية الصوتية الدولية، فك رمزية حروف الكلمة، تحديد المحتوى المسيء في فقرات هينغليش (مزيج من الهندية والإنجليزية) ، وتوليد معادل إنجليزي مماثل لأمثال الكسواحيلي.  الهندسة المعمارية والتدريب النماذج اللغوية الكبيرة بيستعملو أكتر في العادة بنية المحول، واللي، من سنة 2018، بقى تقنية التعلم العميق القياسية للبيانات المتسلسلة (سبق كدا، كانت المعماريات المتكررة زي LSTM أكتر شيوع). المعلمين المهنيين بتتدربوا بطريقة مش مشرفة على نص مش مشروح. مبدل يسار ليمين بيتدرب علشان يزيد من الاحتمال المخصص لكلمة الجاية في بيانات التدريب، بالنظر للسياق السابق. وبالإضافة، LLM ممكن يستخدم محول ثنائي الاتجاه (كالمثال لBERT) ، واللي بيعين توزيع احتمال على الكلمات اللي بتتصل بالسياق اللي قبله والسياق اللي بعده. بالإضافة لمهمة التنبؤ بالكلمة التالية أو "ملء الفراغات" ، يمكن تدريب LLMs على المهام الإضافية اللي بتختبر فهمهم لتوزيع البيانات زي التنبؤ بالجملة التالية (NSP) ، اللي بتتقدم فيه أزواج من الجمل ويجب على النموذج التنبؤ إذا كانت تظهر جنبًا إلى جنب في المجموعة التدريبية.  أول مدربين في القانون تدربوا على الجماعات اللي ليها مليارات الكلمات. أول نموذج في سلسلة GPT لـ OpenAI تم تدريبه سنة 2018 على BookCorpus، بتتكون من 985 مليون كلمة. بنفس السنة، تم تدريب بيرت على مجموعة من بوك كوربس و ويكيبيديا باللغة الإنجليزية، بقيمة إجمالية 3.3 مليار كلمة. في السنين من بعد، كليات التدريب للماجستيرات الزوجية زادت بأوامر من الحجم، ووصلت لمئات المليارات أو تريليونات من الرموز.  LLM كتير غالي التدريب. دراسة من سنة 2020 قدرت تكلفة تدريب نموذج بمعلمات بحدود 1.5 مليار (1-2 أوامر من الحجم الأصغر من الحالة الأحدث في الوقت) بـ 1.6 مليون دولار.  تحليل 2020 لقى إن قدرة نماذج اللغة العصبية (بالقياس من خلال خسارة التدريب) زادت بسلاسة في علاقة قانون القوة مع عدد المعلمات، كمية بيانات التدريب، والحسابات المستخدمة للتدريب. تم اختبار العلاقات دي على نطاق واسع من القيم (حتى سبعة أوامر ضخامة) ومش بتتلاحظ تخفيف للعلاقة في أعلى نهاية النطاق (بما في ذلك لأحجام الشبكات حتى تريليونات من المعلمات).  التطبيق على المهام التالية بين 2018 و 2020، كانت الطريقة القياسية لاستغلال ماجستير في القانون لمهمة معينة في معالجة اللغة الطبيعية (NLP) هيدي تنسيق النموذج بتدريب إضافي خاص بالمهمة. بعدين، اتبين ان المعلمات اللي بتعمل بشكل اكتر قوة زي GPT-3 بتقدر تحل المهام من غير تدريب إضافي عن طريق تقنيات "التحفيز"، واللي فيها المشكلة اللي لازم تحلها بتتقدم للنموذج على شكل تحفيز نصي، وربما مع بعض الأمثلة النصية للمشاكل المتشابهة وحلولها.  ضبط دقيق المقالة الأساسية: التنظيم الدقيق (التعلم الآلي) التنظيم الدقيق هو ممارسة تعديل نموذج لغوي موجود تم تدريبه مسبقاً عن طريق تدريبه (بطريقة مشرفة) على مهمة محددة (زي تحليل المشاعر، التعرف على الكيانات المسماة، أو وضع علامات على أجزاء من الكلام). هيدا شكل من أشكال التعلم المنتقل. عادةً بتتضمن إدخال مجموعة جديدة من الأوزان اللي بتربط الطبقة الأخيرة من نموذج اللغة بمخرجة المهمة اللي بعد. الوزن الأصلي لنموذج اللغة ممكن يكون "مجمد"، بحيث بتتعلم بس الطبقة الجديدة من الوزن اللي بتربطها بالخروج خلال التدريب. وبدلاً من كدا، ممكن يتلقى الوزن الأصلي تحديثات صغيرة (قد يكون مع طبقات سابقة مجمدة).  إعلام شوف كمان: هندسة سريعة وتعلم سريع (معالجة اللغة الطبيعية) في نموذج الإستدعاء، واللي جعله شعبياً جي بي تي - 3، المشكلة اللي لازم تحل بتصيغ عن طريق استدعاء نصي، واللي الموديل لازم يحله عن طريق توفير إكمال (عن طريق الاستدلال). في "إستدعاء القليل من اللقطات"، الإستدعاء بيحتوي على عدد قليل من الأمثلة على أزواج متشابهة (مشكل، حل). مثلاً، مهمة تحليل الإحساس بتسمية الإحساس بمراجعة فيلم ممكن تتحرك على هيدي الشكل:  مراجعة: هالفيلم عفيف. مشاعر: سلبية  مراجعة: هالفيلم رائع! شعور:  إذا النموذج بيخرج "إيجابي"، فإنه حل المهمة بالشكل الصحيح. في إغراء الصورة الصفرية، ما بيوفروا أمثلة حل. إمثال على إشارة الصورة الصفرية لنفس مهمة تحليل المشاعر هوي "الشعور المرتبط بمراجعة الفيلم 'الفيلم هوي رائع!' ".  تم إظهار إن أداء القليل من اللقطات من LLMs لتحقيق نتائج تنافسية في مهام NLP، وأحياناً بتتجاوز الأساليب السابقة المتطورة للتنظيم الدقيق. أمثلة لمهمات النبأ اللي مش تقليدية هيي الترجمة، الإجابة على الأسئلة، المهام المختلفة، تفكير الكلمات، واستخدام كلمة جديدة في جملة. إنشاء وتحسين هالمطلوبات بتتسمى هندسة المطلوبات.  ضبط التعليمات تنسيق التعليمات هو شكل من أشكال التنسيق الدقيق المصمم لتسهيل تفاعلات التفاعلات المطلوبة من الصفر بشكل طبيعي ودقيق. مع إدخال نص، نموذج لغة متدرب مسبقاً بيولد إكمال بيتطابق مع توزيع النص اللي اتدرب عليه. نموذج لغة ساذج اللي بيتطلب "اكتب مقال عن المواضيع الرئيسية لهاملت" ممكن يوفر استكمال زي "ستتطبق عقوبة تأخير بنسبة 10٪ يوميًا على المشاركات المستلمة بعد 17 مارس". في تنسيق التعليمات، بيتدرب نموذج اللغة على كتير من الأمثلة على المهام المصممة كتعليمات اللغة الطبيعية، جنبًا إلى جنب مع الردود المناسبة. بتتطبق في الممارسة تقنيات مختلفة لتعديل التعليمات. بروتوكول InstructGPT من OpenAI بيحتوي على ضبط دقيق تحت الإشراف على مجموعة بيانات من أزواج من إنتاج الإنسان (سريع، استجابة) ، تبعه التعلم بالتعزيز من ردود الفعل البشرية (RLHF) ، حيث تم تعلم وظيفة مكافأة بناءً على مجموعة بيانات من تفضيلات الإنسان. تقنية تانية، "التعليم الذاتي"، بتضبط نموذج اللغة على مجموعة تدريبية من الأمثلة اللي بتتولى نفسها من قبل LLM (تتم تشغيلها من مجموعة أولية صغيرة من الأمثلة اللي بتوليها البشر).  https://en.wikipedia.org/wiki/Large_language_model
2018