In contrastive learning, a model gets both positive and negative samples as an input to differentiate between them. For word2vec for example, an algorithm that tries to model word similarity, the model gets as input that 'king' often has 'crown' as a context word (as a positive sample), whereas 'king' doesn't usually have 'beer', 'laptop', 'house' or 'bush' in its context (as negative samples). In this example, positive samples are drawn from real text and negative samples are just random words. Because 'king' and 'queen' might both co-occur with crown the word2vec model makes them also similar in its internal representation. This is how it can draw analogies like: 'king' - 'crown' + 'kippa' -> 'Jew' or 'rabbi'
ในการเรียนรู้แบบเปรียบเทียบ แบบจำลองจะได้รับตัวอย่างทั้งเชิงบวกและเชิงลบเป็นข้อมูลป้อนเข้าเพื่อแยกแยะความแตกต่างระหว่างตัวอย่างเหล่านั้น สำหรับตัวอย่าง word2vec อัลกอริธึมที่พยายามสร้างแบบจำลองความคล้ายคลึงกันของคำ โมเดลจะได้รับเป็นอินพุตที่ 'king' มักจะมี 'crown' เป็นคำบริบท (เป็นตัวอย่างเชิงบวก) ในขณะที่ 'king' มักจะไม่มี 'beer ', 'แล็ปท็อป', 'บ้าน' หรือ 'พุ่มไม้' ในบริบท (เป็นตัวอย่างเชิงลบ) ในตัวอย่างนี้ ตัวอย่างเชิงบวกจะถูกดึงมาจากข้อความจริง และตัวอย่างเชิงลบเป็นเพียงคำแบบสุ่ม เนื่องจาก 'ราชา' และ 'ราชินี' อาจเกิดขึ้นร่วมกับมงกุฎ โมเดล word2vec จึงทำให้พวกเขาคล้ายกันในการเป็นตัวแทนภายใน นี่คือวิธีที่สามารถวาดการเปรียบเทียบเช่น: 'กษัตริย์' - 'มงกุฎ' + 'kippa' -> 'ยิว' หรือ 'รับบี'
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence