وبالنظر إلى هذه الفقرات حول النماذج اللغوية الكبيرة، على أي بنية معمارية الشبكة العصبية الشائعة تستند؟
Context:نموذج لغة كبير (LLM) هو نموذج لغة يتكون من شبكة عصبية مع العديد من المعلمات (عادة مليارات من الأوزان أو أكثر) ، تدرب على كميات كبيرة من النص غير المسمى باستخدام التعلم المراقب الذاتي. ظهرت أجهزة التشغيل القانونية في عام 2018، وتعمل بشكل جيد في مجموعة واسعة من المهام. وقد أدى هذا إلى تحويل تركيز أبحاث معالجة اللغة الطبيعية بعيدًا عن النموذج السابق لتدريب نماذج خاضعة للإشراف المتخصصة لمهام محددة.  خصائص على الرغم من أن مصطلح نموذج اللغة الكبيرة ليس له تعريف رسمي، إلا أنه غالباً ما يشير إلى نماذج التعلم العميق التي تحتوي على عدد من المعلمات بمليارات أو أكثر. وتعتبر أنماط التدريب المهني ذات الغرض العام التي تتفوق في مجموعة واسعة من المهام، بدلاً من التدريب على مهمة محددة واحدة (مثل تحليل المشاعر أو التعرف على الكيانات المسماة أو التفكير الرياضي). ويبدو أن المهارة التي يقومون بها بإنجاز المهام، ومجموعة المهام التي يستطيعون القيام بها، هي وظيفة من كمية الموارد (البيانات، حجم المعلمات، قوة الحوسبة) المخصصة لهم، بطريقة لا تعتمد على اختراقات إضافية في التصميم.  على الرغم من تدريبها على المهام البسيطة على غرار التنبؤ بالكلمة التالية في جملة، إلا أن نماذج اللغة العصبية التي تتمتع بتدريب كاف ومعدلات المعلمات وجدت أنها تلتقط الكثير من تركيب اللغة البشرية والمعاني. وبالإضافة إلى ذلك، يظهر النماذج اللغوية الكبيرة معرفة عامة كبيرة حول العالم، وهي قادرة على "تذكر" كمية كبيرة من الحقائق أثناء التدريب.  الهلوسات المقالة الرئيسية: الهلوسة (الذكاء الاصطناعي) في الذكاء الاصطناعي بشكل عام، وفي النماذج اللغوية الكبيرة على وجه الخصوص، يعد "الهلوسة" استجابة واثقة لا يبدو أنها مبررة من خلال بيانات التدريب الخاصة بالنموذج.  القدرات الناشئة  في عدد من المعايير اللغوية الطبيعية التي تتضمن مهام مثل الإجابة على الأسئلة، لا تعمل النماذج بشكل أفضل من الصدفة العشوائية حتى تصل إلى مقياس معين (في هذه الحالة، يقاس عن طريق حساب التدريب) ، وفي هذه المرحلة يزداد أداؤها بشكل حاد. هادي أمثلة على القدرات الناشئة. تُسمى القدرات غير المتوقعة التي لوحظت في نماذج اللغة الكبيرة ولكن لم تكن موجودة في النماذج البسيطة (والتي لم تكن مصممة بشكل صريح في النموذج) عادة "القدرات الناشئة". ويقول الباحثون إن "القدرات ديالو ما تقدرش تتوقع ببساطة من خلال التخمين في أداء النماذج الأصغر". تتم اكتشاف هذه القدرات بدلاً من البرمجة أو التصميم، وفي بعض الحالات فقط بعد نشر LLM علناً. وصفوا المئات من القدرات الناشئة. ومن الأمثلة على ذلك الحساب متعدد الخطوات، وإجراء الامتحانات على مستوى الجامعة، وتحديد المعنى المقصود لكلمة، وتوجيه سلسلة من الأفكار، وتحديد رمز الأبجدية الصوتية الدولية، وإزالة رمز الحروف في كلمة، وتحديد المحتوى المسيء في الفقرات من اللغة الهينغليش (جمع بين اللغة الهندية واللغة الإنجليزية) ، وتوليد ما يعادل اللغة الإنجليزية من الأمثال الكسواحيلية.  الهندسة المعمارية والتدريب نموذج اللغة الكبيرة استخدمت في الغالب بنية المحول، والتي، منذ عام 2018، أصبحت تقنية التعلم العميق القياسية للبيانات المتسلسلة (في السابق، كانت المعماريات المتكررة مثل LSTM هي الأكثر شيوعًا). التدريب على القانون يدار بطريقة غير خاضعة للإشراف على النص غير المعلق. يتم تدريب محول يسار لليمين على زيادة الاحتمالات المخصصة لكلمة التالية في بيانات التدريب، بالنظر إلى السياق السابق. وبدلًا من ذلك، يمكن لـ LLM استخدام محول ثنائي الاتجاه (مثل ما هو الحال في مثال BERT) ، والذي يعين توزيع الاحتمال على الكلمات التي تمنح الوصول إلى السياق السابق والسياق التالي. بالإضافة إلى مهمة التنبؤ بالكلمة التالية أو "ملء الفراغات"، يمكن تدريب LLMs على المهام المساعدة التي تختبر فهمهم لتوزيع البيانات مثل التنبؤ بالجملة التالية (NSP) ، حيث يتم تقديم أزواج من الجمل ويجب على النموذج التنبؤ بما إذا كانت تظهر جنبًا إلى جنب في المجموعة التدريبية.  تم تدريب أقدم LLM على الجماعات التي تحتوي على مليارات الكلمات. تم تدريب النموذج الأول في سلسلة GPT من OpenAI في عام 2018 على BookCorpus، والذي يتكون من 985 مليون كلمة. في نفس العام، تم تدريب برت على مجموعة من بوك كوربوس و ويكيبيديا باللغة الإنجليزية، بلغ إجمالي 3.3 مليار كلمة. من وقتها، زاد عدد الشركات التدريبية لـ LLMs بطرق كبيرة، ووصلت لمئات من المليارات أو تريليونات من الرموز.  الـ LLM مكلفين في التدريب. قدرت دراسة أجريت عام 2020 تكلفة تدريب نموذج ذي 1.5 مليار معيار (1-2 أوامر من الحجم الأصغر من حالة التكنولوجيا في ذلك الوقت) بنحو 1.6 مليون دولار.  ووجد تحليل عام 2020 أن قدرة نماذج اللغة العصبية (كما تقاس بخسارة التدريب) تزداد بسلاسة في علاقة قانون القوة مع عدد المعلمات، وكمية بيانات التدريب، والحساب المستخدم للتدريب. تم اختبار هذه العلاقات على نطاق واسع من القيم (حتى سبعة أوضاع من الحجم) ولم تلاحظ أي تخفيف للعلاقة في أعلى نهاية النطاق (بما في ذلك لأحجام الشبكات حتى تريليونات من المعلمات).  التطبيق على المهام التالية بين عامي 2018 و 2020، كانت الطريقة القياسية لاستغلال برنامج LLM لمهمة معينة في معالجة اللغة الطبيعية (NLP) هي تحسين النموذج بتدريب إضافي محدد للمهمة. وقد تبين في وقت لاحق أن LLMs أقوى مثل GPT-3 يمكن أن تحل المهام دون تدريب إضافي عن طريق تقنيات "التحفيز"، والتي يتم فيها تقديم المشكلة التي سيتم حلها للنموذج على شكل طلب نصي، وربما مع بعض الأمثلة النصية للمشاكل المماثلة وحلولها.  ضبط دقيق المقال الرئيسي: التنظيم الدقيق (التعلم الآلي) التنظيم الدقيق هو ممارسة تعديل نموذج لغوي تم تدريبه مسبقاً عن طريق تدريبه (بطرق خاضعة للإشراف) في مهمة محددة (على سبيل المثال تحليل المشاعر أو التعرف على الكيانات المسماة أو وضع علامات على أجزاء من الكلام). هو شكل من أشكال التعلم النقلي. ويتضمن بشكل عام إدخال مجموعة جديدة من الأوزان التي تربط الطبقة الأخيرة من النموذج اللغوي بمخرجات المهمة التالية. يمكن أن تكون الأوزان الأصلية لنموذج اللغة "مجمدة" ، بحيث لا يتم تعلم سوى الطبقة الجديدة من الأوزان التي تربطها بالمخرجات أثناء التدريب. وبدلًا من ذلك، قد تتلقى الأوزان الأصلية تحديثات صغيرة (ربما مع تجميد الطبقات السابقة).  التوجيه انظر أيضا: الهندسة السريعة والتعلم القصير (معالجة اللغة الطبيعية) في نموذج التوجيه، الذي روج إليه GPT-3، يتم صياغة المشكلة التي يجب حلها عن طريق تلميح نصي، والذي يجب على النموذج حلها من خلال توفير الانتهاء (عن طريق الاستدلال). في "التحفيز بضعة طلقات"، يتضمن التحفيز عدد قليل من الأمثلة على أزواج متشابهة (المشكلة، الحل). على سبيل المثال، يمكن تحديد مهمة تحليل المشاعر لتسمية مشاعر مراجعة فيلم على النحو التالي:  المراجعة: هاد الفيلم مزعج. الرأي: سلبي  الاستعراض: هاد الفيلم رائع! مشاعر:  إذا كان النموذج يخرج "إيجابي"، فإنه حل المهمة بشكل صحيح. في إغراء الصفر، لا يتم تقديم أي أمثلة لحل. مثال على طلب الصفر-الاطلاق لنفس مهمة تحليل المشاعر هو "الشعور المرتبط بمراجعة الفيلم 'هذا الفيلم رائع!' هو".  وقد تبين أن أداء القليل من LLMs يحقق نتائج تنافسية في مهام البرمجة اللغوية الطبيعية، وأحيانًا يتفوق على أساليب ضبط الدقة الحديثة السابقة. ومن الأمثلة على هذه المهام هي الترجمة، والإجابة على الأسئلة، ومهمات التوقف، وتفكيك الكلمات، واستخدام كلمة جديدة في جملة. يُطلق على إنشاء وتحسين مثل هذه الإشارات هندسة الإشارات.  ضبط التعليمات تعديل التعليمات هو شكل من أشكال التعديل الدقيق المصمم لتسهيل تفاعلات التفاعل مع إطلاق الصفر الأكثر طبيعية ودقة. عند إدخال نص، النموذج اللغوي المتدرب مسبقاً سيولد إكمال يتطابق مع توزيع النص الذي تم تدريبه عليه. يمكن لنموذج لغوي ساذج يُعطى الإشارة "اكتبي مقال عن الموضوعات الرئيسية لهاملت". يوفّر إكمال مثل "ستتم تطبيق عقوبة تأخير بنسبة 10٪ في اليوم الواحد على المشاركات المستلمة بعد 17 مارس". في ضبط التعليمات، يتم تدريب نموذج اللغة على العديد من الأمثلة على المهام المصممة كإرشادات اللغة الطبيعية، جنبا إلى جنب مع الردود المناسبة. تم تطبيق تقنيات مختلفة لتعديل التعليمات في الممارسة. يتضمن بروتوكول InstructGPT من OpenAI التنظيم الدقيق المشرف على مجموعة بيانات من الأزواج التي تم إنشاؤها من قبل الإنسان (الرد السريع والرد) ، تليها التعلم بالتعزيز من ردود الفعل البشرية (RLHF) ، حيث تم تعلم وظيفة المكافأة على أساس مجموعة بيانات التفضيلات البشرية. تقنية أخرى، "التعليم الذاتي"، تحسّن نموذج اللغة على مجموعة تدريبية من الأمثلة التي يتم إنشاؤها بنفسها بواسطة برنامج LLM (تم إعادة تشغيلها من مجموعة أولية صغيرة من الأمثلة التي أنتجها الإنسان).  https://en.wikipedia.org/wiki/Large_language_model
معمارية الترانسفورميرز.