بالنظر لهذه الفقرات عن نماذج اللغة الكبيرة، فما هو أول نموذج في سلسلة GPT لـ OpenAI تم تدريبه في عام 2018؟
Context:نموذج لغوي كبير (LLM) هو نموذج لغوي يتكون من شبكة عصبية مع العديد من المعلمات (عادةً مليارات الأوزان أو أكثر) ، مدربة على كميات كبيرة من النص غير المسمى باستخدام التعلم الخاضع للإشراف الذاتي. ظهرت LLM حوالي عام 2018 وتؤدي بشكل جيد في مجموعة واسعة من المهام. هذا غير تركيز أبحاث معالجة اللغة الطبيعية عن النموذج السابق لتدريب نماذج خاضعة للإشراف المتخصصة لمهام محددة.  خصائص على الرغم من أن مصطلح نموذج لغة كبير ليس لديه تعريف رسمي، إلا أنه غالباً ما يشير إلى نماذج التعلم العميق التي لها عدد من المعلمات بمليارات أو أكثر. المعلمون المهنيون هم نماذج ذات غرض عام تتفوق في مجموعة واسعة من المهام، بدلاً من التدريب على مهمة واحدة محددة (مثل تحليل المشاعر، أو التعرف على الكيانات المسماة، أو التفكير الرياضي). المهارة التي ينجزون بها المهام، ومجموعة المهام التي هم قادرون عليها، تبدو وظيفة من كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المخصصة لهم، بطريقة لا تعتمد على اختراقات إضافية في التصميم.  بالرغم من تدريبها على مهام بسيطة على غرار التنبؤ بالكلمة التالية في جملة، إلا أن نماذج اللغة العصبية التي لديها تدريب كاف وعدد المعلمات تكتشف أنها تلتقط الكثير من تركيب اللغة البشرية وشروطها. بالإضافة إلى ذلك، تظهر نماذج اللغة الكبيرة معرفة عامة كبيرة عن العالم، وهي قادرة على "تذكر" كمية كبيرة من الحقائق أثناء التدريب.  هلوسات المقالة الرئيسية: الهلوسة (ذكاء اصطناعي) في الذكاء الاصطناعي بشكل عام، وفي النماذج اللغوية الكبيرة على وجه الخصوص، "الهلوسة" هو استجابة واثقة لا يبدو أنها مبررة من خلال بيانات تدريب النموذج.  قدرات ناشئة  في عدد من معايير اللغة الطبيعية التي تتضمن مهام مثل الإجابة على الأسئلة، النماذج لا تعمل أفضل من فرصة عشوائية حتى تصل إلى مقياس معين (في هذه الحالة، تقاس بحساب التدريب) ، وفي هذه المرحلة تزداد أدائها بشكل حاد. هذه أمثلة على قدرات ناشئة. القدرات الغير متوقعة التي لوحظت في نماذج اللغة الكبيرة ولكن لم تكن موجودة في النماذج البسيطة (والتي لم تكن مصممة بشكل صريح في النموذج) عادة ما تسمى "القدرات الناشئة". يلاحظ الباحثون ان هذه القدرات "لا يمكن التنبؤ بها ببساطة عن طريق استنتاج أداء نماذج أصغر". تكتشف هذه القدرات بدل من أن تكون مبرمجة أو مصممة، وفي بعض الحالات بعد أن يتم نشر LLM علناً. وصفت مئات القدرات الناشئة. ومن الأمثلة على ذلك حساب متعدد الخطوات، وأخذ امتحانات على مستوى الجامعة، وتحديد المعنى المقصود لكلمة، وتحديد سلسلة الأفكار، وتفكيك الأبجدية الصوتية الدولية، وتفكيك حروف الكلمة، وتحديد المحتوى المسيء في فقرات اللغة الهندية (جمع بين الهندية واللغة الإنجليزية) ، وتوليد ما يعادل المثل الإنجليزية المماثلة للكسواحيلي.  العمارة والتدريب نماذج اللغات الكبيرة استخدمت بشكل شائع بنية المحول، والتي، منذ عام 2018، أصبحت تقنية التعلم العميق القياسية للبيانات المتسلسلة (في السابق، كانت المعماريات المتكررة مثل LSTM هي الأكثر شيوعًا). تدرب المعلمون الجامعيين بطريقة غير خاضعة للرقابة على نص غير مفصل. يتم تدريب محول يسار لليمين لتعظيم احتمال تعيين الكلمة التالية في بيانات التدريب، بالنظر إلى السياق السابق. وبدلاً من ذلك، يمكن لـ LLM استخدام محول ثنائي الاتجاه (كما في مثال BERT) ، والذي يعين توزيع احتمال على الكلمات التي تمنح الوصول إلى السياق السابق واللاحق. بالإضافة إلى مهمة التنبؤ بالكلمة التالية أو "ملء الفراغات"، يمكن تدريب LLMs على مهام مساعدة تختبر فهمهم لتوزيع البيانات مثل التنبؤ بالجملة التالية (NSP) ، حيث يتم تقديم أزواج من الجمل ويجب على النموذج التنبؤ بما إذا كانت تظهر جنبًا إلى جنب في المجموعة التدريبية.  تم تدريب أوائل علماء الحقوق على الجماعات التي تحتوي على مليارات الكلمات. تم تدريب النموذج الأول في سلسلة GPT لـ OpenAI في عام 2018 على BookCorpus، والذي يتكون من 985 مليون كلمة. في نفس السنة، تم تدريب BERT على مجموعة من BookCorpus و ويكيبيديا باللغة الإنجليزية، بلغ إجمالي 3.3 مليار كلمة. في السنوات التي تلت ذلك، زادت مؤسسات التدريب لـ LLM بأوامر من الحجم، وصلت إلى مئات المليارات أو تريليونات الرموز.  تدريب الـ LLM مكلف حسابياً. قدرت دراسة عام 2020 تكلفة تدريب نموذج معيار 1.5 مليار (1-2 أوامر من الحجم الأصغر من حالة الفن في ذلك الوقت) بمبلغ 1.6 مليون دولار.  اكتشف تحليل عام 2020 أن قدرة نماذج اللغة العصبية (كما تقاس بخسارة التدريب) زادت بسلاسة في علاقة قانون القوة مع عدد المعلمات، وكمية بيانات التدريب، والحساب المستخدم للتدريب. تم اختبار هذه العلاقات على نطاق واسع من القيم (حتى سبعة أطر من الحجم) ولم يلاحظ أي تراجع في العلاقة في أعلى نهاية النطاق (بما في ذلك لأحجام الشبكات حتى تريليونات من المعلمات).  التطبيق على المهام التالية بين عامي 2018 و 2020، كانت الطريقة القياسية لاستغلال LLM لمهمة معينة في معالجة اللغة الطبيعية (NLP) هي تحسين النموذج بتدريب إضافي محدد للمهمة. بعد كده، اتبين ان الـ LLM الاكثر قوة مثل GPT-3 يمكنها حل المهام بدون تدريب إضافي عن طريق تقنيات "التحفيز"، حيث يتم تقديم المشكلة التي يجب حلها للنموذج كحافز نصي، وربما مع بعض الأمثلة النصية للمشاكل المماثلة وحلولها.  ضبط دقيق المقالة الرئيسية: التنظيم الدقيق (تعلم الآلة) التنظيم الدقيق هو ممارسة تعديل نموذج لغوي متدرب مسبقاً من خلال تدريبه (بطريقة مشرفة) في مهمة محددة (مثل تحليل المشاعر، التعرف على الكيانات المسماة، أو وضع علامات على أجزاء من الكلام). هو شكل من أشكال التعلم النقل. عادةً يتضمن إدخال مجموعة جديدة من الأوزان التي تربط الطبقة الأخيرة من نموذج اللغة بمخرجات المهمة التالية. يمكن "تجميد" الأوزان الأصلية لنموذج اللغة، بحيث يتم تعلم الطبقة الجديدة من الأوزان التي تربطها بالمخرجات فقط أثناء التدريب. أو، الوزن الأصلي ممكن يحصل على تحديثات صغيرة (ربما مع طبقات سابقة متجمدة).  يطالب انظر أيضا: هندسة سريعة وتعلم قصير (معالجة اللغة الطبيعية) في نموذج التوجيه، الذي انتشر بواسطة GPT-3، يتم صياغة المشكلة التي يجب حلها عن طريق إشارة نصية، والتي يجب على النموذج حلها من خلال توفير الانتهاء (عن طريق الاستدلال). في "توجيه القليل من الطلقات"، يتضمن التوجيه عدداً صغيراً من الأمثلة على أزواج مماثلة (مشكلة، حل). على سبيل المثال، مهمة تحليل المشاعر لتسمية مشاعر مراجعة فيلم يمكن أن تتم على النحو التالي:  هذا الفيلم مقرف. مشاعر: سلبية  مراجعة: هذا الفيلم رائع! شعور:  إذا خرج النموذج "إيجابي"، فإنه حل المهمة بشكل صحيح. في طلب الصورة الصفرية، لا توجد أمثلة حل. مثال على طلب الصفر لتحليل المشاعر هو "الشعور المرتبط بمراجعة الفيلم 'هذا الفيلم رائع!' هو".  أظهر أداء القليل من LLMs لتحقيق نتائج تنافسية في مهام NLP، وأحيانًا تتفوق على أساليب ضبط الدقة الحديثة السابقة. أمثلة على هذه المهام هي الترجمة، والإجابة على الأسئلة، ومهمات التوقف عن العمل، وتفكيك الكلمات، واستخدام كلمة جديدة في جملة. إنشاء وتحسين مثل هذه الإشارات يسمى هندسة الإشارات.  ضبط التعليمات ضبط التعليمات هو شكل من أشكال ضبط الدقيق مصمم لتسهيل تفاعلات التوجيه الصفري الأكثر طبيعية ودقة. مع إدخال نص، نموذج لغة مدرب مسبقاً سيولد إكمالاً يتطابق مع توزيع النص الذي تم تدريبه عليه. نموذج لغة ساذج يعطيك المطلوب "اكتب مقال عن المواضيع الرئيسية لهاملت". قد يوفر إكمال مثل "عقوبة تأخير بنسبة 10٪ يوميًا ستطبق على المراسلات المستلمة بعد 17 مارس". في ضبط التعليمات، يتم تدريب نموذج اللغة على العديد من أمثلة المهام المصممة كإرشادات اللغة الطبيعية، جنبا إلى جنب مع الردود المناسبة. تم تطبيق تقنيات مختلفة لتعديل التعليمات في الممارسة. بروتوكول InstructGPT من OpenAI يتضمن ضبط دقيق تحت الإشراف على مجموعة بيانات من الأزواج التي تم إنشاؤها من قبل الإنسان (سريع، استجابة) ، تليها تعزيز التعلم من ردود الفعل البشرية (RLHF) ، حيث تم تعلم وظيفة المكافأة بناءً على مجموعة بيانات التفضيلات البشرية. تقنية اخرى، "التعليم الذاتي"، تعمل على ضبط نموذج اللغة على مجموعة تدريبية من الأمثلة التي يتم إنشاؤها بنفسها بواسطة LLM (تم تشغيلها من مجموعة أولية صغيرة من الأمثلة التي أنشأها الإنسان).  https://en.wikipedia.org/wiki/Large_language_model
بوك كوربس.