Vision Transformers commonly use embedding vectors of size:

768 (e.g. ViT-Base)
1024 (e.g. ViT-Large)
2048 (e.g. ViT-Huge)

Andrei-Cristian Rad explains in his article on Medium that the ViT architecture uses a trainable embedding tensor of shape (p²*c, d), which learns to linearly project each flat patch to dimension d. This dimension d is constant in the architecture and is used in most of the components.

So anywhere from 768 to 2048 dimensions is common and has been explored in research.
In general, larger embedding sizes allow the model to capture more fine-grained relationships and representations, but also increase parameter count and risk of overfitting. So it's a tradeoff, and the exact size used will depend on the specific use case and data available.
Vision Transformers โดยทั่วไปจะใช้เวกเตอร์แบบฝังขนาด: 768 (เช่น ViT-Base) 1024 (เช่น ViT-Large) 2048 (เช่น ViT-Huge) Andrei-Cristian Rad อธิบายในบทความของเขาเกี่ยวกับ Medium ว่าสถาปัตยกรรม ViT ใช้เทนเซอร์แบบฝังที่สามารถฝึกได้ของ รูปร่าง (p²*c, d) ซึ่งเรียนรู้ที่จะฉายภาพแต่ละแผ่นแบนเป็นเส้นตรงเป็นมิติ d มิติข้อมูล d นี้คงที่ในสถาปัตยกรรมและใช้ในส่วนประกอบส่วนใหญ่ ดังนั้นมิติต่างๆ ตั้งแต่ 768 ถึง 2048 จึงเป็นเรื่องปกติ และได้รับการสำรวจในการวิจัยแล้ว โดยทั่วไป ขนาดการฝังที่ใหญ่ขึ้นจะทำให้โมเดลสามารถจับความสัมพันธ์และการนำเสนอที่ละเอียดมากขึ้น แต่ยังเพิ่มจำนวนพารามิเตอร์และความเสี่ยงในการติดตั้งมากเกินไป ดังนั้นจึงเป็นข้อดีอย่างหนึ่ง และขนาดที่แน่นอนที่ใช้จะขึ้นอยู่กับกรณีการใช้งานเฉพาะและข้อมูลที่มีอยู่
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence