ورقة "الانتباه هو كل ما تحتاجه" اقترحت نموذج المحول لأول مرة، والذي كان له تأثير عميق على ماجستير في القانون اللاحق. لو سمحت اعطني الفكرة الأساسية للترانسفورمر الموصوفة في هذه الورقة
Context:المحول هو نموذج تعلم عميق يعتمد آلية الانتباه الذاتي، ويزن بشكل مختلف أهمية كل جزء من بيانات الإدخال. يستخدم في المقام الأول في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، صممت المحولات لمعالجة بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك، على عكس RNNs، المحولات تعالج كل المدخلات في وقت واحد. آلية الانتباه توفر سياق لأي موقع في تسلسل الإدخال. على سبيل المثال، إذا كانت بيانات الإدخال جملة لغة طبيعية، لا يحتاج المحول إلى معالجة كلمة واحدة في كل مرة. هذا يسمح بالتوازي أكثر من RNNs وبالتالي يقلل من أوقات التدريب.  تم تقديم المحولات في عام 2017 من قبل فريق في Google Brain وتصبح بشكل متزايد نموذج الاختيار لمشاكل NLP، لتحل محل نماذج RNN مثل الذاكرة الطويلة قصيرة الأجل (LSTM). التوازي التدريبي الإضافي يسمح بالتدريب على مجموعات بيانات أكبر. أدى هذا إلى تطوير أنظمة مدربة مسبقًا مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، والتي تم تدريبها مع مجموعات بيانات لغة كبيرة، مثل ويكيبيديا كوربوس و Common Crawl، ويمكن ضبطها بدقة لمهام محددة.
هذه الورقة من قبل فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكوريت، جاكوب وجونز، ليون وجوميز، إيدن وكايزر، لوكاس وبولوسوخين، إيليا. ونشرت في عام 2017. وضع الأساس لسلسلة النماذج GPT وسلسلة النماذج BERT اللاحقة. النموذج GPT يستخدم جزء فك الترميز من ترانسفومر، بينما النموذج BERT يستخدم جزء التشفير من ترانسفومر. معمارية النواة الرئيسية لنموذج المحول تتضمن: آلية الانتباه الذاتي، ترميز موضعي، معمارية ترميز-ترميز، ترميز متعدد الرؤوس. المحول يحل بفعالية المشكلة المتوازية الصعبة لنموذج RNN/LSTM السابق باستخدام آلية الانتباه. استخدام الانتباه الذاتي يحل مشكلة البيانات الموصوفة المحدودة في البرمجة الطبيعية الوطنية. المعلومات المتسلسلة في نص المدخلات محفوظة عن طريق التشفير الموضعي. والاهتمام المتعدد الرؤوس يسمح للترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب مشابهة لمفهوم القناة في نموذج CNN.