الورقة "الاهتمام هو كل ما تحتاجه" اقترحت نموذج المحول لأول مرة، واللي كان له تأثير عميق على ماجستير في القانون اللاحق. لو سمحت أعطني الفكرة الأساسية للترانسفورمر الموصوفة في هذي الورقة
Context:المحول عبارة عن نموذج تعلّم عميق يعتمد آلية الاهتمام الذاتي، ويزن بشكل مختلف أهمية كل جزء من بيانات الإدخال. بيستخدم بشكل رئيسي في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، صممت المحولات لمعالجة بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك، بعكس شبكات الحمض النووي الرسمي، بتعمل المحولات كل المدخلات مرة واحدة. آلية الاهتمام بتوفر سياق لأي موقف في تسلسل الإدخال. مثلًا، إذا كانت البيانات المدخلة جملة لغة طبيعية، المتحول ما بيحتاج يعالج كلمة واحدة في كل مرة. هاد بيسمح بالتوازي اكتر من ال RNNs وبالتالي يقلل من أوقات التدريب.  تم تقديم المحولات في 2017 من قبل فريق في جوجل برين وبتصبح بشكل متزايد نموذج الاختيار لمشاكل اللغة الوطنية اللغوية، واستبدلت نماذج RNN مثل الذاكرة طويلة قصيرة الأجل (LSTM). التوازي التدريبي الإضافي بيسمح بالتدريب على مجموعات بيانات أكبر. هاد أدى إلى تطوير أنظمة مدربة مسبقاً مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، واللي تم تدريبها مع مجموعات بيانات لغوية كبيرة، مثل ويكيبيديا كوربوس وكومن كراول، ويمكن ضبطها بدقة لمهام محددة.
هاد الورقة من قبل فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكوريت، جاكوب وجونز، ليون وجوميز، أيدن وكايزر، لوكاش وبولوسوخين، إيليا. ونشرت في عام 2017. وضع الأساس لسلسلة النماذج GPT والسلسلة النموذجية BERT اللاحقة. النموذج GPT بيستخدم الجزء المفكك من ترانسفومر، بينما النموذج BERT بيستخدم الجزء المشفك من ترانسفومر. الهندسة المعمارية الأساسية لنموذج المحول تشمل: آلية الاهتمام الذاتي، ترميز الموقع، هندسة ترميز-ترميز، ترميز متعدد الرؤوس. المحول بيحل بفعالية المشكلة المتوازية الصعبة لنموذج RNN/LSTM السابق باستخدام آلية الانتباه. استخدام الانتباه الذاتي يحل مشكلة المعلومات المحدودة في البرمجة الطبيعية الوطنية. المعلومات المتسلسلة في نص الإدخال محفوظة عن طريق التشفير الموضعي. و انتباه الرؤوس المتعددة بيسمح للترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب مشابهة لمفهوم القناة في نموذج سي إن إن.