وبالنظر للفقرات هاذم حول نماذج لغات كبيرة، شنية المجموعة الاولى من النماذج في سلسلة GPT ل اوبن آى اللى تم تدريبها في عام 2018؟
Context:نموذج لغة كبيرة (LLM) هو نموذج لغة يتكون من شبكة عصبية مع العديد من المعلمات (عادة مليارات من الأوزان أو أكثر) ، تدربت على كميات كبيرة من النص غير المسمى باستخدام التعلم المراقب الذاتي. المهندسين المهنيين ظهرو حوالي عام 2018 و ينجموا ينجيو بنجام في مجموعة واسعة من المهام. هذا غير تركيز البحث في معالجة اللغة الطبيعية بعيدًا عن النموذج السابق لتدريب نماذج متخصصة تحت إشراف لمهام محددة.  خصائص بالرغم من إن مصطلح نموذج لغة كبيرة ما عندهش تعريف رسمي، إلا إنه غالبا ما يشير لموديلات التعلم العميق اللي عندها عدد من المعلمات بمليارات أو أكثر. المعلمين المهنيين هم نماذج مخصصين للخدمة العامة واللي يمتازوا في مجموعة واسعة من المهام، بدل ما يمتلكوا تدريب لمهمة معينة (مثل تحليل المشاعر، التعرف على الكيانات المسمية، أو التفكير الرياضي). المهارة اللي ينجموها في المهام، ومجموعة المهام اللي يقدروا ينجموها فيها، يبدو انها متعلقة بكمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المخصصة لهم، بطريقة ما تعتمدش على اختراقات إضافية في التصميم.  بالرغم من تدريبهم على المهام البسيطة على غرار التنبؤ بالكلمة الجاية في جملة، فما النماذج اللغوية العصبية مع تدريب كاف ومعدلات المعلمات تتوصلوا للكثير من تركيب الكلمات والمعاني اللغوية للإنسان. وبالإضافة، النماذج اللغوية الكبيرة تظهر معرفة عامة كبيرة حول العالم، ويمكنها "تتذكر" كمية كبيرة من الحقائق أثناء التدريب.  الهلوسة المقالة الرئيسية: الهلوسة (الذكاء الاصطناعي) في الذكاء الاصطناعي بشكل عام، وفي نماذج لغوية كبيرة بشكل خاص، "الهلوسة" هي استجابة ثقة ما تظهرش مبررة من خلال بيانات التدريب في النموذج.  قدرات جديدة  في عدد من معايير اللغة الطبيعية التي تشمل مهام مثل الإجابة على الأسئلة، النماذج ما تعملوش أحسن من الصدفة العشوائية حتى توصلوا لقياس معين (في الحالة هاذي، يقاسوا عن طريق حساب التدريب) ، وفي اللحظة هذي تزيد أدائهم بشكل كبير. هَاذُومَا مِثَالْ لِلقدرات الناشئة. المقدرات الغير متوقعة الي تلاحظو في نماذج لغات كبيرة ولكن ما كانتش موجودة في نماذج أبسط (وما كانتش مصممة بشكل صريح في النموذج) عادة ما تسمى "القدرات الناشئة". الباحثين يلاحظوا إنَّا "مَا نِتْنَجّْمُوشْ نْقُولُوا بِالشَّيْء هَاذَا وَقْتِلِّي نِتْخَيّْرُوا كيفَاش يِتْصَرِّفْ النَّاسْ". المهارات هاذي تكتشفو بدل ما تبرمجوا أو تتم تصميمهم، في بعض الحالات بعد ما يتم نشر LLM علنا. وصفوا المئات من القدرات الناشئة. مثلًا الحساب في عدة خطوات، الامتحانات على مستوى الكليات، تحديد المعنى المقصود لكلمة، التوجيه في سلسلة الفكر، فك تشفير الأبجدية الصوتية الدولية، فك حروف الكلمة، تحديد المحتويات المسيئة في الفقرات من الهينغليش (جمع بين الهندية والإنجليزية) ، وتوليد ما يعادل الإنجليزية من المثل الكسواحيلية.  العمارة والتدريب موديلات لغة كبيرة استخدمت في الغالب بنية المحول، واللي، من عام 2018، بقت تقنية التعلم العميق القياسية للبيانات المتسلسلة (في السابق، كانت المعماريات المتكررة مثل LSTM هي الأكثر شيوعًا). المعلمين العاملين في المجال المهني يتدربوا على النص المكتوب بدون ملاحظات. ترانسفورماتور من اليسار لليمين يتدرب على زيادة الاحتمالات المخصصة لكلمة الجاية في بيانات التدريب، مع إعطاء السياق السابق. وبالإضافة إليها، يمكن ل LLM يستخدم محول ثنائي الاتجاه (كالمثال من BERT) ، واللي يعطي توزيع احتمال على الكلمات التي تعطى الوصول لكل من السياق السابق والسياق التالي. بالاضافة للوظيفة متاع التنبؤ بالكلمة الجاية أو "ملء الفراغات"، يمكن تدريب المعلمين على المهام الإضافية التي تختبر فهمهم لتوزيع البيانات مثل التنبؤ بالجملة الجاية (NSP) ، واللي فيها جوج من الجمل يتم تقديمها ويجب على النموذج يتنبأ إذا ما ظهرت جنب إلى جنب في المجموعة التدريبية.  ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال أول نموذج في سلسلة GPT من OpenAI تم تدريبه في عام 2018 على BookCorpus، يتكون من 985 مليون كلمة. في نفس السنة، برت تلقيت تدريب على مجموعة من بوك كوربوس و ويكيبيديا باللغة الإنجليزية، ما مجموعه 3.3 مليار كلمة. مُدَّة مِنْ تَوَّا، تْكَثِّرْتْ القِيمَة مْتَاعْ التَّدْرِيبْ مْتَاعْ المُدَبَّرْينْ بِالمُدَبَّرْ، وْوُصْلِتْ لْمُئَاتْ المِليَارِينْ وِلاَّ تريليونِينْ مِالعَرَايِنْ.  المهندسين الكيميائيين باهظو التكلفة في التدريب. دراسة عام 2020 قامت بتقدير تكلفة تدريب نموذج ب 1.5 مليار بارامتر (1-2 ترتيبات أصغر من الحالة الأحدث في الوقت) بمقدار 1.6 مليون دولار.  تحليل عام 2020 لقى إمكانية نماذج لغة عصبية (كما يقاسها خسارة التدريب) تزايد بسهولة في علاقة قانون القوة مع عدد المعلمات، كمية بيانات التدريب، والحسابات المستخدمة للتدريب. العلاقات هاذي تم اختبارها على نطاق واسع من القيم (حتى سبعة أوضاع من الحجم) و ما لوحظش تخفيف للعلاقة في أعلى نهاية النطاق (ومن ضمنها لحجم الشبكة حتى تريليونات من المعلمات).  التطبيق على المهام اللاحقة بين 2018 و 2020، الطريقة القياسية لاستغلال ماجستير في القانون لمهمة معينة في معالجة اللغة الطبيعية (NLP) كانت لتحسين النموذج مع تدريب إضافي خاص بالمهمة. بعد كدا، اتضح إنو المعدات الليمترة القوية زي GPT-3 تقدر تحل المهام من غير تدريب إضافي عن طريق تقنيات "التحذير"، واللي فيها المشكلة اللي لازم تحلها تتم عرضها على النموذج كحذير نصي، وربما مع بعض الأمثلة نصية للمشاكل المماثلة وحلولها.  تناغم دقيق المقالة الأساسية: التعلم الآلي التنظيم الدقيق هو الممارسة لتعديل نموذج لغة متقدمة موجودة عن طريق تدريبها (بطريقة مشرفة) على مهمة محددة (مثل تحليل المشاعر، التعرف على الكيانات المسماة، أو تسمية أجزاء من الكلام). هذي شكل من أشكال التعلم النقلي. عادةً ما يتضمن إدخال مجموعة جديدة من الأوزان التي تربط الطبقة الأخيرة من نموذج اللغة بخرجة المهمة التالية. ويمكن "التجميد" للوزن الأصلي لنموذج اللغة، بحيث تكون الطبقة الجديدة من الوزن فقط اللي تربطها بالخروج تتعلم خلال التدريب. و في الحالات الاخرى، الوزن الاصلي ممكن يتلقى تحديثات صغيرة (قد يكون مع طبقات سابقة متجمدة).  يطالبك إشوفوا زاد: هندسة سريعة وتعلم قصير (معالجة اللغة الطبيعية) في نموذج التوجيه، المعروف ب GPT-3، المشكلة المطلوب حلها تتم صياغتها عن طريق نص نصي، والذي يجب على النموذج يحله من خلال توفير إكمال (عن طريق الاستدلال). في "التوجيه القليل"، التوجيه يتضمن عدد قليل من الأمثلة على أزواج متشابهين (المشكلة، الحل). مثلاً، مهمة تحليل المشاعر لتسمية المشاعر في مراجعة فيلم يمكن أن تتم على النحو التالي:  رد: الفيلم هذا فاشل. مشاعر: سلبية  رد: الفيلم هذا رائع! مشاعر:  إذا ما خرج النموذج "إيجابي"، فإنه حل المهمة بشكل صحيح. في إغراء الصفر، ما توفيروش أمثلة لحل. مثال على إغراء الصفر-شوت لنفس مهمة تحليل المشاعر يكون "الشعور المرتبط بتقييم الفيلم 'الفيلم هذا رائع!' هو".  أداة القليل من التسجيلات ل LLMs تظهر لتحقيق نتائج تنافسية في المهام NLP، في بعض الأحيان تتجاوز أساليب التنظيم الدقيق السابقة. مثالات على مهمات NLP هذي هي الترجمة، والإجابة على الأسئلة، ومهمات التخفيض، وتحديد الكلمات، واستخدام كلمة جديدة في جملة. إنشاء وتحسين مثل هذه الإشارات يسمى هندسة الإشارات.  ترنيم التعليمات التعليمات هي شكل من أشكال التعديل الدقيق المصمم لتسهيل تفاعلات التفاعل الفوري الأكثر طبيعية ودقة. إعطاء إدخال نص، نموذج لغة متدربة مسبقاً يخلق إكمال يتطابق مع توزيع النص اللي اتدرب عليه. نموذج لغة ساذجة ومتلقية "كتابة مقال عن المواضيع الأساسية في هاملت" يمكن يوفّر إكمال مثل "تتطبق عقوبة تأخير 10% في اليوم الواحد على المشاركات الوصول إليها بعد 17 مارس". في التعديل التعليمي، نموذج اللغة يتدرب على كتير من الأمثلة من المهام المعمول بها كالتعليمات اللغوية الطبيعية، جنبًا إلى جنب مع الردود المناسبة. تطبق في الممارسة تقنيات مختلفة لتعديل التعليمات. بروتوكول InstructGPT من OpenAI يتضمن التنظيم الدقيق المراقب على مجموعة بيانات من الأزواج المولودين من قبل الإنسان (الرد السريع والرد) ، تليها التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) ، والذي تلقيت فيه وظيفة مكافأة على أساس مجموعة بيانات من التفضيلات البشرية. تقنية اخرى، "التعليم الذاتي"، تحسّن نموذج اللغة على مجموعة تدريبية من الأمثلة التي تولّدها نفسها برنامج LLM (تتولّد من مجموعة أولية صغيرة من الأمثلة التي تولّدها البشر).  الموديل الكبير لللغة
بوك كوربوس.