ورقة "الاهتمام هو كل ما تحتاجه" اقترحت نموذج المحول لأول مرة، والذي كان له تأثير عميق على LLM اللاحق. لو سمحت اعطيني الفكرة الاساسيه للترانسفورمر الموصوفه في هذه الورقه
Context:المحول هو نموذج تعلم عميق يعتمد آلية الانتباه الذاتي، ويزن بشكل مختلف أهمية كل جزء من بيانات الإدخال. يستخدم بشكل رئيسي في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).  مثل الشبكات العصبية المتكررة (RNNs) ، صممت المحولات لمعالجة بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك، على عكس الـ RNNs، المحولات تعالج كل المدخلات في وقت واحد. آلية الانتباه توفر سياق لأي موقع في تسلسل المدخلات. مثلًا، اذا كانت البيانات المدخلة جملة لغة طبيعية، فالمحول لا يحتاج لمعالجة كلمة واحدة في كل مرة. هذا يسمح بالتوازي اكثر من ال RNNs وبالتالي يقلل من وقت التدريب.  تم تقديم المحولات في عام 2017 من قبل فريق في جوجل برين وهي بتصبح بشكل متزايد نموذج الاختيار لمشاكل NLP، لتحل محل نماذج RNN مثل الذاكرة الطويلة قصيرة الأجل (LSTM). التوازي التدريبي الاضافي يسمح بالتدريب على مجموعات بيانات اكبر. هذا ادى الى تطوير انظمة مدربة مسبقا مثل BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، والتي تم تدريبها مع مجموعات بيانات لغوية كبيرة، مثل ويكيبيديا كوربوس و Common Crawl، ويمكن ضبطها بدقة لمهام محددة.
هذه الورقه من قبل فاسواني، آشيش وشازير، نعوم وبارمار، نيكي وأوسكوريت، جاكوب وجونز، ليون وجوميز، أيدن وكايزر، لوكاش وبولوسوخين، إيليا. ونشرت في عام 2017. وضع الاساس لسلسلة النماذج اللاحقة من GPT وسلسلة النماذج من BERT. نموذج جي بي تي يستخدم جزء فك الترميز من ترانسفومر، بينما نموذج بي ار تي يستخدم جزء التشفير من ترانسفومر. معمارية النواة الرئيسية لنموذج المحول تتضمن: آلية الانتباه الذاتي، ترميز موضعي، معمارية ترميز-ترميز، ترميز متعدد الرؤوس. المتحول يحل بفعالية المشكلة المتوازية الصعبة لنموذج RNN/LSTM السابق باستخدام آلية الانتباه. استخدام الانتباه الذاتي يحل مشكلة البيانات الموصوفة المحدودة في البرمجة الطبيعية الوطنية. المعلومات المتسلسلة في النص المدخل محفوظة عن طريق التشفير الموضعي. و الانتباه المتعدد الرؤوس يسمح للترانسفورمور بتعلم أنماط مختلفة من بيانات التدريب مشابهة لمفهوم القناة في نموذج سي إن إن.