ورقة "الاهتمام هو كل ما تحتاجه" اقترحت نموذج المحول لأول مرة، والذي كان له تأثير عميق على ماجستير القانون اللاحق. رجاءا اعطيني الفكره الاساسيه للترانسفورمور الموصوفه في هذي الورقه
Context:المتحول هو نموذج تعلم عميق يعتمد آلية الاهتمام الذاتي، ويزن بشكل متباين أهمية كل جزء من بيانات الإدخال. هو يُستَعمل بشكل رئيسي في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، صُممت المحولات لمعالجة بيانات الإدخال المتسلسلة ، مثل اللغة الطبيعية ، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك، بخلاف الـ RNNs، المتحولات تعالج كل المدخلات في وقت واحد. آلية الانتباه توفر سياق لأي موقف في تسلسل المدخلات. مثلًا، اذا كانت البيانات المدخلة جملة بلغة طبيعية، لا يحتاج المحول لمعالجة كلمة واحدة في كل مرة. هذا يسمح بالتوازي اكثر من الـ RNNs وبالتالي يقلل من وقت التدريب.  تم تقديم المحولات في عام 2017 من قبل فريق في جوجل برين وهي تزداد لتصبح نموذج الاختيار لمشاكل NLP ، لتحل محل نماذج RNN مثل الذاكرة الطويلة قصيرة المدى (LSTM). التوازي التدريبي الاضافي يسمح بالتدريب على مجموعات بيانات اكبر. هذا ادى الى تطوير انظمة تم تدريبها مسبقاً مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، والتي تم تدريبها مع مجموعات بيانات اللغة الكبيرة ، مثل ويكيبيديا كوربوس و Common Crawl ، ويمكن ضبطها بدقة لمهام محددة.
هَذِهِ الورقة من تأليف فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكورييت، جاكوب وجونز، ليون وجوميز، ايدان وكايزر، لوكاش وبولوسوخين، إيليا. ونشرت في 2017. حطت الأساس لسلسلة النماذج اللاحقة من GPT وسلسلة النماذج من BERT. نموذج جي بي تي يستخدم الجزء المفكك لترانسفومر، بينما نموذج بي ار تي يستخدم الجزء المشفك لترانسفومر. التركيب الرئيسي لنموذج المحول يتضمن: آلية الاهتمام الذاتي، الترميز الموضعي، بنية الترميز والترميم، التمديد متعدد الرؤوس. المحول بفاعلية يحل مشكلة التوازي الصعبة من النموذج الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد الرائد باستخدام الانتباه الذاتي يحل مشكلة محدودة البيانات المسمى في البرمجة الطبيعية الوطنية. المعلومات المتسلسلة في نص المدخلات تحافظ عن طريق التشفير الموضعي. واهتمام الرؤوس المتعددة يسمح لـ ترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب مشابهة لمفهوم القناة في نموذج سي ان ان.