In Transformer machine learning models, attention is a mechanism used to weigh the importance of different input elements when processing sequences. In standard attention, a single set of learned weights is used to compute a weighted sum of the input elements, where the weights are determined by the similarity between the input element and a query vector.

Multi-head attention extends the standard attention mechanism by performing multiple parallel attention operations, or "heads". Each head learns a separate set of weights and attends to a different representation of the input sequence. The outputs of each head are then concatenated and transformed to produce the final output.

From a mathematical perspective, in multi-head attention, the query, key, and value vectors are each split into multiple smaller vectors, or "heads", which are then processed in parallel. The output of each head is computed using a scaled dot-product attention mechanism, where the weights are determined by the similarity between the query and key vectors for that head.

The outputs of each head are then concatenated and passed through a linear layer to produce the final output. This allows the model to capture different types of relationships between the input elements and the query vector, improving its ability to represent complex input sequences.
ในโมเดลการเรียนรู้ของเครื่อง Transformer ความสนใจเป็นกลไกที่ใช้ในการชั่งน้ำหนักความสำคัญขององค์ประกอบอินพุตต่างๆ เมื่อประมวลผลลำดับ ตามความสนใจมาตรฐาน ชุดน้ำหนักที่เรียนรู้ชุดเดียวจะใช้ในการคำนวณผลรวมถ่วงน้ำหนักขององค์ประกอบอินพุต โดยที่น้ำหนักจะถูกกำหนดโดยความคล้ายคลึงกันระหว่างองค์ประกอบอินพุตและเวกเตอร์แบบสอบถาม ความสนใจแบบหลายหัวขยายกลไกความสนใจมาตรฐานโดยการดำเนินการให้ความสนใจแบบขนานหลายรายการหรือ "หัว" หัวหน้าแต่ละคนจะเรียนรู้ชุดตุ้มน้ำหนักที่แยกจากกันและดูแลการแสดงลำดับอินพุตที่แตกต่างกัน จากนั้นเอาต์พุตของแต่ละหัวจะถูกต่อเข้าด้วยกันและแปลงเพื่อสร้างเอาต์พุตสุดท้าย จากมุมมองทางคณิตศาสตร์ ในความสนใจแบบหลายหัว เวกเตอร์คิวรี คีย์ และค่าจะถูกแบ่งออกเป็นเวกเตอร์ขนาดเล็กหลาย ๆ ตัว หรือ "หัว" ซึ่งจากนั้นจะถูกประมวลผลแบบขนาน ผลลัพธ์ของแต่ละส่วนหัวจะถูกคำนวณโดยใช้กลไกความสนใจแบบดอทโปรดัคแบบปรับขนาด โดยที่น้ำหนักจะถูกกำหนดโดยความคล้ายคลึงกันระหว่างแบบสอบถามและเวกเตอร์คีย์สำหรับส่วนหัวนั้น จากนั้นเอาต์พุตของแต่ละหัวจะถูกต่อเข้าด้วยกันและส่งผ่านเลเยอร์เชิงเส้นเพื่อสร้างเอาต์พุตสุดท้าย ซึ่งช่วยให้โมเดลสามารถจับความสัมพันธ์ประเภทต่างๆ ระหว่างองค์ประกอบอินพุตและเวกเตอร์คิวรี ปรับปรุงความสามารถในการแสดงลำดับอินพุตที่ซับซ้อน
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence