Los modelos Transformer en Deep Learning utilizan el mecanismo de atención para procesar información de manera eficiente y precisa. A diferencia de otras arquitecturas de redes neuronales, los Transformers no se basan en la secuencialidad (procesar los datos en un orden específico), sino que pueden considerar toda la información de una entrada al mismo tiempo mediante la aplicación de pesos a cada uno de los elementos de la entrada, de manera que se puedan identificar aquellos que son más relevantes para la tarea en cuestión.
Cada capa de atención se encarga de aplicar estos pesos a un subconjunto de la información de entrada, y el resultado de cada una de estas capas se combina para formar la representación final. De esta manera, los Transformers logran extraer conocimiento de manera efectiva, considerando tanto la información global como la local.

Para simplificarlo, imagine que quiere traducir una frase del inglés al español. El modelo Transformer utiliza una capa de atención para examinar cada palabra en la frase de entrada en inglés y determinar qué palabra es importante para la traducción. Luego, la capa de atención pondera cada palabra de acuerdo con su importancia y utiliza esa información para generar una traducción más precisa.
โมเดล Transformer ใน Deep Learning ใช้กลไกความสนใจเพื่อประมวลผลข้อมูลอย่างมีประสิทธิภาพและแม่นยำ ต่างจากสถาปัตยกรรมเครือข่ายนิวรอลอื่นๆ Transformers ไม่ต้องอาศัยลำดับ (การประมวลผลข้อมูลตามลำดับเฉพาะ) แต่สามารถพิจารณาข้อมูลทั้งหมดในอินพุตพร้อมกันได้โดยใช้น้ำหนักกับแต่ละอินพุต องค์ประกอบอินพุต เพื่อให้สิ่งเหล่านั้น ที่เกี่ยวข้องกับงานที่ทำอยู่มากที่สุดสามารถระบุได้ ชั้นความสนใจแต่ละชั้นมีหน้าที่รับผิดชอบในการใช้น้ำหนักเหล่านี้กับชุดย่อยของข้อมูลอินพุต และผลลัพธ์จากแต่ละชั้นเหล่านี้จะรวมกันเพื่อสร้างการนำเสนอขั้นสุดท้าย ด้วยวิธีนี้ Transformers จึงสามารถดึงความรู้ได้อย่างมีประสิทธิภาพ โดยพิจารณาจากข้อมูลทั้งในระดับโลกและระดับท้องถิ่น เพื่อให้ง่ายขึ้น ลองจินตนาการว่าคุณต้องการแปลวลีจากภาษาอังกฤษเป็นภาษาสเปน โมเดล Transformer ใช้เลเยอร์ความสนใจเพื่อตรวจสอบแต่ละคำในประโยคภาษาอังกฤษที่ป้อน และพิจารณาว่าคำใดมีความสำคัญต่อการแปล ชั้นความสนใจจะชั่งน้ำหนักแต่ละคำตามความสำคัญของคำ และใช้ข้อมูลนั้นเพื่อสร้างคำแปลที่แม่นยำยิ่งขึ้น
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence