واقترح ورقة "الاهتمام هو كل ما تحتاجه" نموذج المحول للمرة الأولى، والذي كان له تأثير عميق على LLM اللاحقة. عافاك عطيني الفكرة الأساسية للترانسفورمور الموصوفة في هذه الورقة
Context:المتحول هو نموذج للتعلم العميق الذي يتبنى آلية الاهتمام الذاتي، ويزن بشكل مختلف أهمية كل جزء من بيانات الإدخال. ويستخدم بشكل رئيسي في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، صممت المحولات لمعالجة بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية، مع التطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك، على عكس RNNs، تقوم المحولات بمعالجة المدخلات بأكملها مرة واحدة. آلية الاهتمام توفر السياق لأي موقع في تسلسل الإدخال. على سبيل المثال، إذا كانت البيانات الداخلية جملة لغة طبيعية، لا يحتاج المحول إلى معالجة كلمة واحدة في كل مرة. وهذا يسمح بالتوازي أكثر من RNNs وبالتالي يقلل من أوقات التدريب.  تم إدخال المحولات في عام 2017 من قبل فريق في جوجل برين وهي تصبح على نحو متزايد نموذج الاختيار لمشاكل البرمجة اللغوية الطبيعية، لتحل محل نماذج RNN مثل الذاكرة الطويلة على المدى القصير (LSTM). يسمح التوازي التدريبي الإضافي بالتدريب على مجموعات البيانات الكبيرة. أدى هذا إلى تطوير أنظمة مدربة مسبقاً مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، والتي تم تدريبها مع مجموعات بيانات لغوية كبيرة، مثل ويكيبيديا كوربوس و كومون كراول، ويمكن ضبطها بدقة لمهام محددة.
هاد الورقة من قبل فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكوريت، جاكوب وجونز، ليون وجوميز، أيدن وكايزر، لوكاز وبولوسوخين، إيليا. ونشرت في عام 2017. ووضع الأساس لسلسلة النماذج GPT وسلسلة النماذج BERT اللاحقة. يستخدم نموذج GPT الجزء المفكّر من Transfomer، بينما يستخدم نموذج BERT الجزء المشفّر من Transfomer. الهندسة المعمارية الأساسية لنموذج المحول تشمل: آلية الاهتمام الذاتي، التشفير الموضعي، هندسة ترميز-ترميز، التشديد متعدد الرؤوس. يحل المحول بفعالية المشكلة المتوازية الصعبة لنموذج RNN/LSTM السابق باستخدام آلية الانتباه. يحل استخدام الاهتمام الذاتي مشكلة البيانات المحدودة في البرمجة اللغوية الوطنية. المعلومات المتسلسلة في نص الإدخال يتم الحفاظ عليها من خلال التشفير الموضعي. والاهتمام متعدد الرؤوس يسمح لترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب على غرار مفهوم القناة في نموذج سي إن إن.