اقترحت ورقة "الانتباه هو كل ما تحتاجه" نموذج المحول لأول مرة، واللي كان له تأثير عميق على ماجستير في القانون اللاحق. لو سمحت أعطني الفكرة الأساسية للترانسفورمر الموصوفة في الورقة دي
Context:المحول هو نموذج تعلم عميق بيعتمد آلية الانتباه الذاتي، ويقيس بشكل مختلف أهمية كل جزء من بيانات الإدخال. بيتم استخدامه في المقام الأول في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  زي الشبكات العصبية المتكررة (RNNs) ، صممت المحولات عشان تعالج بيانات الإدخال المتسلسلة، زي اللغة الطبيعية، مع تطبيقات نحو مهام زي الترجمة وتلخيص النص. ومع كده، على عكس الـ RNNs، بتعمل المحولات المدخلات كلها مرة واحدة. آلية الانتباه بتوفر سياق لأي موقف في تسلسل الإدخال. مثلاً، لو كانت بيانات الإدخال عبارة عن جملة لغة طبيعية، مش لازم على المحول إنه يعالج كلمة واحدة في كل مرة. ده بيسمح بالتوازي أكتر من RNNs وبالتالي بيقلل من أوقات التدريب.  تم إدخال المحولات في سنة 2017 من قبل فريق في جوجل برين وبتصبح بشكل متزايد نموذج الاختيار لمشاكل البرمجة اللغوية الطبيعية، بدلًا من نماذج RNN زي الذاكرة طويلة على المدى القصير (LSTM). بتسمح التوازية التدريبية الإضافية بالتدريب على مجموعات بيانات أكبر. أدى هذا إلى تطوير أنظمة مدربة مسبقًا مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، واللي تم تدريبها مع مجموعات بيانات لغة كبيرة ، مثل Wikipedia Corpus و Common Crawl ، ويمكن ضبطها بدقة لمهام محددة.
الورقة دي من قبل فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكوريت، جاكوب وجونز، ليون وجوميز، إيدن وكايزر، لوكاس وبولوسوخين، إيليا. ونشرت في عام 2017. وضع الأساس لسلسلة النماذج GPT والسلسلة النموذجية BERT اللي بعد كده. بيستخدم النموذج GPT الجزء المفكّر من Transfomer، في حين بيستخدم النموذج BERT الجزء المشفّر من Transfomer. بتتضمن الهندسة المعمارية الأساسية لنموذج المحول: آلية الانتباه الذاتي ، ترميز الموقع ، هندسة ترميز-ترميز ، إضافة رأس متعدد. بيحل المحول بفعالية المشكلة المتوازية الصعبة لنموذج RNN/LSTM السابق باستخدام آلية الانتباه. بيعالج استخدام الاهتمام الذاتي مشكلة البيانات الموصوفة المحدودة في البرمجة الطبيعية الوطنية. بيحتفظ بتفاصيل التسلسل في نص المدخل عن طريق التشفير الموضعي. و انتباه الرؤوس المتعددة بيسمح للترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب مشابهة لمفهوم القناة في نموذج سي إن إن.