Под "низкой точностью на новых данных" для языковых моделей я имею в виду, что модель может быть обучена на некотором наборе данных, и показывать высокую точность на этом наборе данных, но она может показать низкую точность на данных, которые ей ранее не встречались.

Чтобы проиллюстрировать это, представьте, что у вас есть языковая модель, обученная на новостях. Если вы дадите этой модели предложение из новостей, то она вероятно сможет правильно определить его смысл. Однако, если вы дадите ей предложение из разговорной речи или из какой-то узкой тематической области, например, медицины, то модель может показать низкую точность, потому что ей не хватает информации, чтобы правильно обработать такие данные.

Относительно регуляризации, это методика, которая используется для предотвращения переобучения модели. В контексте языковых моделей, регуляризация может быть достигнута путем добавления дополнительных ограничений на параметры модели в процессе обучения, чтобы избежать слишком высокой точности на тренировочных данных, которые могут привести к переобучению и низкой точности на новых данных. Это может быть достигнуто различными способами, такими как добавление L1 или L2 регуляризации к функции потерь, или добавление дропаута в процессе обучения.
"ความแม่นยำต่ำกับข้อมูลใหม่" สำหรับโมเดลภาษา ฉันหมายความว่าโมเดลอาจได้รับการฝึกฝนกับชุดข้อมูลบางชุดและแสดงความแม่นยำสูงในชุดข้อมูลนั้น แต่อาจแสดงความแม่นยำต่ำในข้อมูลที่ไม่เคยเห็นมาก่อน เพื่ออธิบายสิ่งนี้ ลองจินตนาการว่าคุณมีโมเดลภาษาที่ได้รับการฝึกเกี่ยวกับข่าว ถ้ายกประโยคจากข่าวให้โมเดลนี้ ก็น่าจะสามารถระบุความหมายของโมเดลนี้ได้อย่างถูกต้อง อย่างไรก็ตาม หากคุณให้ประโยคจากภาษาพูดหรือจากหัวข้อเฉพาะ เช่น การแพทย์ แบบจำลองอาจแสดงความแม่นยำต่ำเนื่องจากมีข้อมูลไม่เพียงพอที่จะประมวลผลข้อมูลดังกล่าวได้อย่างถูกต้อง ในส่วนของการทำให้เป็นมาตรฐานนั้นเป็นเทคนิคที่ใช้ในการป้องกันไม่ให้โมเดลมีการติดตั้งมากเกินไป ในบริบทของโมเดลภาษา การทำให้เป็นมาตรฐานสามารถทำได้โดยการเพิ่มข้อจำกัดเพิ่มเติมในพารามิเตอร์โมเดลระหว่างการฝึก เพื่อหลีกเลี่ยงไม่ให้ข้อมูลการฝึกมีความแม่นยำมากเกินไป ซึ่งอาจนำไปสู่การพอดีมากเกินไปและความแม่นยำต่ำในข้อมูลใหม่ ซึ่งสามารถทำได้หลายวิธี เช่น การเพิ่มการทำให้เป็นมาตรฐาน L1 หรือ L2 ให้กับฟังก์ชันการสูญเสีย หรือการเพิ่มการออกกลางคันระหว่างการฝึก
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence