The implementation of attention in vision transformers and language transformers differs primarily in the type of input that the attention mechanism is applied to.

In language transformers, attention is typically applied to a sequence of word embeddings that represent a sentence or a document. The query vector is derived from the current position in the sequence, and the key and value vectors are derived from all positions in the sequence. The attention mechanism allows the model to attend to different parts of the input sequence, and has been shown to be particularly effective for tasks such as machine translation and language modeling.

In contrast, in vision transformers, attention is typically applied to a grid of patches that represent an image. The query vector is derived from each patch, and the key and value vectors are derived from all patches in the grid. The attention mechanism allows the model to attend to different regions of the image, and has been shown to be effective for tasks such as image classification and object detection.

One key difference in the implementation of attention in vision transformers is the use of positional embeddings, which provide the model with information about the spatial relationships between patches in the grid. These positional embeddings are typically added to the patch embeddings before they are fed into the attention mechanism, allowing the model to attend to both the content and the position of the patches.

Overall, while the basic idea of attention is the same in both vision transformers and language transformers, the specific implementation details differ based on the nature of the input data and the task at hand.
การนำความสนใจไปใช้ในตัวแปลงการมองเห็นและตัวแปลงภาษานั้นมีความแตกต่างกันในประเภทของอินพุตที่ใช้กลไกความสนใจเป็นหลัก ในตัวแปลงภาษา โดยทั่วไปความสนใจจะถูกนำไปใช้กับลำดับของการฝังคำที่แสดงถึงประโยคหรือเอกสาร เวกเตอร์แบบสอบถามได้มาจากตำแหน่งปัจจุบันในลำดับ และเวกเตอร์คีย์และค่าได้มาจากตำแหน่งทั้งหมดในลำดับ กลไกความสนใจช่วยให้โมเดลสามารถเข้าร่วมส่วนต่างๆ ของลำดับอินพุตได้ และแสดงให้เห็นว่ามีประสิทธิภาพโดยเฉพาะสำหรับงานต่างๆ เช่น การแปลด้วยเครื่องและการสร้างแบบจำลองภาษา ในทางตรงกันข้าม ในวิชันทรานส์ฟอร์มเมอร์ โดยทั่วไปความสนใจจะถูกนำไปใช้กับตารางแพทช์ที่แสดงถึงรูปภาพ เวกเตอร์แบบสอบถามได้มาจากแต่ละแพตช์ และเวกเตอร์คีย์และค่าได้มาจากแพตช์ทั้งหมดในตาราง กลไกความสนใจช่วยให้โมเดลสามารถไปที่บริเวณต่างๆ ของภาพ และได้รับการพิสูจน์แล้วว่ามีประสิทธิภาพสำหรับงานต่างๆ เช่น การจำแนกภาพ และการตรวจจับวัตถุ ข้อแตกต่างที่สำคัญประการหนึ่งในการดำเนินการตามความสนใจในวิชันทรานส์ฟอร์มเมอร์คือการใช้การฝังตำแหน่ง ซึ่งทำให้โมเดลมีข้อมูลเกี่ยวกับความสัมพันธ์เชิงพื้นที่ระหว่างแพตช์ในกริด โดยทั่วไปการฝังตำแหน่งเหล่านี้จะถูกเพิ่มลงในการฝังแพตช์ก่อนที่จะถูกป้อนเข้าสู่กลไกความสนใจ ซึ่งช่วยให้โมเดลสนใจทั้งเนื้อหาและตำแหน่งของแพตช์ โดยรวมแล้ว แม้ว่าแนวคิดพื้นฐานของความสนใจจะเหมือนกันในทั้งตัวแปลงวิชันซิสเต็มและตัวแปลงภาษา แต่รายละเอียดการใช้งานเฉพาะจะแตกต่างกันไปตามลักษณะของข้อมูลอินพุตและงานที่มีอยู่
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence