The implementation of attention in vision transformers and language transformers is different due to the nature of the input data and the structure of the models.

In language transformers, the input data consists of sequences of tokens, such as words or subwords, which are processed by the model one at a time. The attention mechanism in language transformers is designed to attend to different parts of the input sequence in order to extract meaningful relationships between the tokens. The input sequence is typically divided into multiple segments or "heads", and each head computes a set of attention weights based on the relationships between the tokens in that segment. The outputs of the different heads are then concatenated and linearly transformed to produce the final attention output.

In vision transformers, the input data consists of images represented as a sequence of 2D patches, which are flattened and processed by the model. The attention mechanism in vision transformers is designed to attend to different parts of the image in order to extract features that are relevant for the task at hand, such as object detection or image classification. Unlike language transformers, the attention mechanism in vision transformers typically does not use multiple segments or heads. Instead, it uses a single attention matrix to compute attention weights between all pairs of patches in the image, which are then used to produce a weighted sum of the patches. The output of the attention mechanism is then typically fed into a feedforward neural network for further processing.

Overall, while the underlying principles of attention are similar in language and vision transformers, the specific implementations are tailored to the unique characteristics of the input data and the structure of the models.
การดำเนินการตามความสนใจในตัวแปลงวิชันซิสเต็มและตัวแปลงภาษานั้นแตกต่างกันเนื่องจากลักษณะของข้อมูลอินพุตและโครงสร้างของแบบจำลอง ในตัวแปลงภาษา ข้อมูลอินพุตประกอบด้วยลำดับของโทเค็น เช่น คำหรือคำย่อย ซึ่งจะถูกประมวลผลโดยโมเดลทีละรายการ กลไกความสนใจในตัวแปลงภาษาได้รับการออกแบบให้สนใจส่วนต่างๆ ของลำดับอินพุตเพื่อดึงความสัมพันธ์ที่มีความหมายระหว่างโทเค็น โดยทั่วไปลำดับอินพุตจะแบ่งออกเป็นหลายส่วนหรือ "ส่วนหัว" และแต่ละส่วนหัวจะคำนวณชุดน้ำหนักความสนใจตามความสัมพันธ์ระหว่างโทเค็นในส่วนนั้น จากนั้นเอาต์พุตของหัวต่างๆ จะถูกต่อเข้าด้วยกันและแปลงเป็นเส้นตรงเพื่อสร้างเอาต์พุตความสนใจขั้นสุดท้าย ในวิชันทรานส์ฟอร์มเมอร์ ข้อมูลอินพุตประกอบด้วยรูปภาพที่แสดงเป็นลำดับของแพตช์ 2D ซึ่งถูกทำให้เรียบและประมวลผลโดยโมเดล กลไกความสนใจในวิชันทรานส์ฟอร์มเมอร์ได้รับการออกแบบให้สนใจส่วนต่างๆ ของภาพ เพื่อแยกคุณสมบัติที่เกี่ยวข้องกับงานที่ทำอยู่ เช่น การตรวจจับวัตถุหรือการจัดหมวดหมู่ภาพ ต่างจากตัวแปลงภาษา กลไกความสนใจในตัวแปลงการมองเห็นมักจะไม่ใช้หลายส่วนหรือหัว แต่จะใช้เมทริกซ์ความสนใจตัวเดียวในการคำนวณน้ำหนักความสนใจระหว่างแพตช์ทั้งหมดในรูปภาพ ซึ่งจากนั้นจะใช้เพื่อสร้างผลรวมแบบถ่วงน้ำหนักของแพตช์ โดยทั่วไปแล้วเอาท์พุตของกลไกความสนใจจะถูกป้อนเข้าสู่โครงข่ายประสาทเทียมแบบฟีดฟอร์เวิร์ดเพื่อการประมวลผลต่อไป โดยรวมแล้ว แม้ว่าหลักการพื้นฐานของความสนใจจะคล้ายคลึงกันในภาษาและการมองเห็น แต่การใช้งานเฉพาะนั้นได้รับการปรับแต่งให้เหมาะกับลักษณะเฉพาะของข้อมูลอินพุตและโครงสร้างของแบบจำลอง
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence