Architectures that include text as one of their modalities can gain a large assortment of common-sense knowledge from Internet data, which leads to better generalization in low-data modalities. We introduce Vision Oui, an image classification architecture capable of harnessing text-only datasets in addition to text-image pairs. We train on a filtered subset of the Common Crawl corpus before finetuning on the LAION-5B dataset. The resulting model achieves SOTA on 13 different benchmarks with comparable performance to industry standard models. We further distill the model for 3x performance gains while retaining 99% accuracy.
 สถาปัตยกรรมที่รวมข้อความเป็นหนึ่งในรูปแบบสามารถรับความรู้สามัญสำนึกมากมายจากข้อมูลอินเทอร์เน็ต ซึ่งนำไปสู่การสรุปทั่วไปที่ดีขึ้นในรูปแบบข้อมูลต่ำ เราขอแนะนำ Vision Oui ซึ่งเป็นสถาปัตยกรรมการจัดหมวดหมู่รูปภาพที่สามารถควบคุมชุดข้อมูลแบบข้อความเท่านั้น นอกเหนือจากคู่ข้อความและรูปภาพ เราฝึกชุดย่อยที่ถูกกรองของคลังข้อมูล Common Crawl ก่อนที่จะปรับแต่งชุดข้อมูล LAION-5B โมเดลผลลัพธ์ที่ได้บรรลุ SOTA ในเกณฑ์มาตรฐานที่แตกต่างกัน 13 รายการ พร้อมประสิทธิภาพที่เทียบเคียงได้กับรุ่นมาตรฐานอุตสาหกรรม เรากลั่นแบบจำลองเพิ่มเติมเพื่อประสิทธิภาพที่เพิ่มขึ้น 3 เท่า ในขณะที่ยังคงความแม่นยำ 99%
spam