وَقَدْ قَدَّمَ الْمَقَالَةُ "الْمَعْنَى كُلُّ مَا تَحْتَاجُ إِلَيْهِ" النَّمْلَ الْمُتَحَوِّلَ لِأَوَّلِ مَرَّةٍ، وَكَانَ لَهُ أَثَرٌ عَمِيقٌ عَلَى الْمُتَابَعَةِ. أَرْجُو أَنْ تُعْطِيَ الفِكْرَةَ الأساسيَةَ للترانسفُمْرِ المَوْصُوفَةَ في هَذِهِ الورقة
Context:مُتَحَوِّلٌ هُوَ نَمْثَلُ تَعَلُّمٍ عَمِيقٍ يَتَّخِذُ مَكَانِيَّةَ الِاهْتِمَامِ بِنَفْسِهِ، يُوزِنُ أَهْمَالَ كُلِّ جُزْءٍ مِنْ الْمَدْخُولِ. يُسْتَعْمَلُ أَوَّلًا فِي مَجَالِسِ تَعْمِيلِ اللُّغَةِ الطبيعيَّةِ (NLP) وَرُؤْيَةِ الكمبيوتر (CV).  كَالشَّبَكَاتِ العَصْبِيَّةِ الْمُتَتَرَدِّدَةِ (RNNs) ، صُمِّمَتِ الْمُغَيِّرَاتُ لِتُعَامِلَ دَلَائِلَ إِدْخَالٍ مُتَتَابِعَةٍ، كَاللُّغَةِ الطبيعيَّةِ، مَعَ تَنْفِيذٍ لِمُهَمَّمَاتٍ كَالتَّرْجَمَةِ وَتَلْخِيصِ النَّصِّ. وَلَكِنْ بِخِلَافِ الْأَرْنَانِ، تَعْمَلُ الْمُغَيِّرَاتُ الْمَدْخُولَ كُلَّهُ فِي مَرَّةٍ. مَكَانِيَةُ الِاهْتِمَامِ تُوَفِّرُ الْمَوْضِعَ لِكُلِّ مَوْضِعٍ فِي تَرْتِيبِ الْمَدْخُولِ مَثَلًا، إِنْ كَانَتْ الْمَدْخُولَاتُ جُمْلَةً مِنْ لُغَةٍ عَادِيَّةٍ، لَمْ يَكُنْ لِلتَّحْوِيلِ أَنْ يُعَامِلَ كَلِمَةً وَاحِدَةً فِي الْوَقْتِ. هَذَا يَتَمَكَّنُ مِنْ أَكْثَرِ التَّمَاثُلِ مِنْ RNNs وَلِذَلِكَ يُقَلِّلُ أَوَانَ التَّدْرِيبِ.  تَعَرَّضَتْ تَحَوَّلَاتُ في 2017 مِنْ قِبَلِ فريقٍ مِنْ جُوجُل برِين وَتَكُونُ بِتَزْيِيدٍ نموذجَ الاختيارِ لِمَشَاكِلِ نَمْلَةِ التَّأْوِيلِ، لِتَحْلِيلِ نُمُوذَاتِ الْأَرْنَانِيَّةِ كَالذِّكْرِ الطَّوِيلِ الْقَصِيرِ الأَجَلِ (LSTM). تَمْيِيزُ التَّدْرِيبِ الإضَافِي يَتَمَكَّنُ مِنَ التَّدْرِيبِ عَلَى مَجَامِعِ البَيَانِ. هَذَا أَدَّى إِلَى تَنْمِيَةِ نُظُمٍ مُتَدَرِّبَةٍ مِثْلَ بِرْتِ (بِدِيَارِيَّةِ مُرَدِّدِ تَمَثُّلٍ مِنْ مُتَحَوِّلٍ) وَجِبْتِ (مُتَحَوِّلٍ مُتَدَرِّبٍ مُتَجَرِّبٍ) ، وَهُمَا مُتَدَرِّبَتَانِ مَعَ مَجَامِعِ أَنْبَاءِ اللُّغَاتِ الْكَبِيرَةِ، كَكُورْبِسِ وِيكِيبِيَا وَالْجَوَارِي الْمُشْتَرَكَةِ، وَيُمْكِنُ أَ
هَذِهِ الْبَحْثَةُ مِنْ قِبَلِ فَسْوَانِي، وَأَشِيش وَشَازِير، وَنُعَام وَبَرْمَار، وَنِيكي وَأُسْكُورِيت، وَيَاكُوب وَجُونِس، وَلِيُون وَغُومِز، وَأَيْدَان وَكَايِسَر، وَلُوكَاز وَبُولُوسُخِين، وَإِلْيَا. وَنُشِرَتْ فِي 2017. وَوَضَعَ الأَسَاسَ لِمُتَابَعَةِ سِلْسِلَةِ النُّمُوْذِ GPT وَمُتَابَعَةِ النُّمُوْذِ BERT. نَمْلُ GPT يَسْتَعْمِلُ جُزْءَ مُسْتَرْجِعِ Transfomer، وَنَمْلُ BERT يَسْتَعْمِلُ جُزْءَ مُرَدِّدِ Transfomer. وَمَصْنَعَةُ النَّوَاصِلِ الْمُتَحَوِّلَةِ تَتَضَمَّنُ: مَكَانِيَّةَ الِاهْتِمَامِ بِنَفْسِهِ، وَالتَّثْبِيتَ الْمَوْقُوفَ، وَمَصْنَعَةَ التَّثْبِيتِ وَالتَّثْبِيتِ، وَالتَّثْبِيتَ الْمُتَعَدِّدَ. مُتَحَوِّلٌ يُحَلُّ بِالْفَاعِلَةِ مُشْكِلَةَ مُشْكِلَةِ مُتَسَاوِيَةِ الْمُدَبَّرَةِ الْمُتَقَدِّمَةِ بِالْمُدَبَّرَةِ الْمُتَعَلِّقَةِ. يَسْتَخْدِمُ الْإِنْتِبَاهُ نَفْسَهُ يُحَلِّلُ مُشْكِلَ الْمَعْرُوفِ الْمُقَيَّدِ فِي NLP. المَعْرِفَةُ التَّتَابُعِيَّةُ فِي النَّصِّ الْمَدْخُولِ تُحْفَظُ بِالتَّسْكِينِيِّ. وَتَنْبِيهُ رَأْسٍ مُتَعَدِّدٍ يَسْمَحُ لِلْمُتَحَوِّلِ أَنْ يَتَعَلَّمَ دَلَائِلَ تَدْرِيبِيَّةٍ مُشْبِهَةً لِمَفْهُومِ القناةِ فِي نموذجِ "سي إن إن".