ورقة "الاهتمام هو كل ما تحتاجه" اقترحت نموذج ترانسفورمر للمرة الأولى، واللي كان له تأثير عميق على ماجستير في الماجستير اللاحق. أمان أعطيني الفكرة الأساسية للترانسفورمر الي اتوصفت في الورقة هاذي
Context:ترانسفورماتور هو نموذج تعلّم عميق يتبنى آلية الاهتمام الذاتي، يوزن بشكل متباين أهمية كل جزء من البيانات المدخلة. يستخدم في المقام الأول في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، صممت المحولات لتعالج بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية، مع التطبيقات نحو المهام مثل الترجمة وتلخيص النص. إما، على عكس RNNs، المتحولات تتمكن من معالجة الإدخال الكامل في وقت واحد. ميكانيزم الاهتمام يعطي سياق لأي موضع في تسلسل الإدخال. مثلًا، إذا كانت البيانات المدخلة جملة بلغة طبيعية، المتحول ما يحتاجش يعالج كلمة واحدة في كل مرة. هذا يسمح بالمزيد من التوازي أكثر من RNNs وبالتالي يقلل من وقت التدريب.  ظهرت الترانسفورميرات في عام 2017 من قبل فريق في جوجل برين و بقت بشكل متزايد نموذج الاختيار لمشاكل NLP، ليحلوا محل نماذج RNN مثل الذاكرة الطويلة على المدى القصير (LSTM). التدريب المتوازي الإضافي يسمح بالتدريب على مجموعات بيانات أكبر. هذا أدى إلى تطوير أنظمة مدربة مسبقاً مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، واللي تم تدريبهم مع مجموعات بيانات لغة كبيرة، مثل ويكيبيديا كوربوس و كومون كراول، ويمكن أن تكون دقيقة لمهام محددة.
ورقة لوسواني، آشيش و شازير، نوم و بارمار، نيكي و أوسكوريت، جاكوب و جونز، ليون و غوميز، إيدن و كايسر، لوكاس و بولوسوخين، إيليا. ونشرت في عام 2017. حط الأساس لسلسلة النماذج GPT والسلسلة النموذجية BERT اللاحقة. النموذج GPT يستخدم الجزء المفكّر من ترانسفومر، أما النموذج BERT يستخدم الجزء المفكّر من ترانسفومر. العمارة الأساسية للنموذج المتحول تتضمن: آلية الاهتمام الذاتي، التشفير الموضعي، معمارة التشفير والترجمة، التشعب متعدد الرؤوس. ترانسفورماتور يحل مشكلة متوازية صعبة من نموذج RNN/LSTM السابق باستخدام آلية إنتباه. إستخدام إنتباه الذات يحل مشكلة المعلومات المحدودة في البرمجة العلمية الوطنية. المعلومات المتسلسلة في نص المدخلات تتم الحفاظ عليها من خلال التشفير الموضعي. و إنتباه الرؤوس المختلفة يسمح لترانسفورمر بيعلم أنماط مختلفة من بيانات التدريب مشابهه لمفهوم القناة في نموذج سي إن إن.