ورقة "الاهتمام هو كل ما تحتاجه" اقترحت نموذج الترانسفورمير لأول مرة، واللي كان له تأثير عميق على ماجستير في القانون اللاحق. إزا بتريد عطيني الفكرة الأساسية للترانسفورمر الموصوفة بهالورقة
Context:الترانسفورماتور عبارة عن نموذج تعلّم عميق بيعتمد آلية الاهتمام الذاتي، بيعطي وزن مختلف لأهمية كل جزء من البيانات المدخلة. بيستخدم أساسا في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  زي الشبكات العصبية المتكررة (RNNs) ، صممت المحولات عشان تعالج بيانات الإدخال المتسلسلة، زي اللغة الطبيعية، مع تطبيقات نحو مهام زي الترجمة وتلخيص النص. ومع كدا، بعكس الـ RNNs، المحولات بتعمل كل الإدخال مرة واحدة. آلية الاهتمام بتوفر سياق لأي موقف في تسلسل الإدخال. مثلاً، إذا كانت البيانات المدخلة جملة بلغة طبيعية، ما لازم يتعامل المحول مع كلمة واحدة كل مرة. هيدا بيسمح بمزيد من التوازي من شبكات الإنترنت الرسمية وبالتالي بيقلل من أوقات التدريب.  تم إدخال المحولات في 2017 من قبل فريق في جوجل برين وبتصبح بشكل متزايد نموذج الاختيار لمشكلات NLP، بديل نماذج RNN زي الذاكرة طويلة قصيرة المدى (LSTM). التوازي التدريبي الإضافي بيسمح بالتدريب على مجموعات بيانات أكبر. هيك أدى لتطوير أنظمة مدربة مسبقاً زي BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، واللي اتدربوا مع مجموعات بيانات لغوية كبيرة، زي ويكيبيديا كوربوس وكومن كراول، ويمكن ضبطها بدقة لمهام محددة.
هيدي الورقة من قبل فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكوريت، جاكوب وجونز، ليون وجوميز، إيدن وكايزر، لوكاش وبولوسوخين، إيليا. ونشرت سنة 2017. حطت الأساس لسلسلة النماذج GPT والسلسلة النماذج BERT اللاحقة. النموذج GPT بيستعمل الجزء المفكك من ترانسفومر، بينما النموذج BERT بيستعمل الجزء المشفك من ترانسفومر. العمارة الأساسية لنموذج المحول بتتضمن: آلية الاهتمام الذاتي، التشفير الموضعي، هندسة التشفير والفك التشفير، التشفير متعدد الرؤوس. الترانسفورماتور بيحل بفعالية المشكلة المتوازية الصعبة من نموذج RNN/LSTM السابق باستخدام آلية إنتباه. باستخدام الانتباه الذاتي، بيحل مشكلة البيانات الموصوفة المحدودة في البرمجة العلمية الوطنية. المعلومات المتسلسلة في نص الإدخال بيتم الحفاظ عليها عن طريق التشفير الموضعي. و انتباه الرؤوس المتعددة بيسمح للترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب شبيهة بمفهوم القناة في نموذج سي إن إن.