Сейчас используются различные методы для решения проблемы переобучения нейронных сетей. Например, самый эффективный из них - Dropout.

Главная идея **Dropout** — вместо обучения одной DNN обучить ансамбль нескольких DNN, а затем усреднить полученные результаты.
Сети для обучения получаются с помощью исключения из сети (dropping out) нейронов с вероятностью $p$, таким образом, вероятность того, что нейрон останется в сети, составляет $q=1-p$. “Исключение” нейрона означает, что при любых входных данных или параметрах он возвращает 0.
Исключенные нейроны не вносят свой вклад в процесс обучения ни на одном из этапов алгоритма обратного распространения ошибки (backpropagation); поэтому исключение хотя бы одного из нейронов равносильно обучению новой нейронной сети.

Регуляризация (англ. regularization) в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Чаще всего эта информация имеет вид штрафа за сложность модели.
ปัจจุบันมีการใช้วิธีการต่างๆ มากมายในการแก้ปัญหาของการฝึกโครงข่ายประสาทเทียม ตัวอย่างเช่น สิ่งที่มีประสิทธิภาพมากที่สุดคือ Dropout แนวคิดหลักของ **การออกกลางคัน** คือแทนที่จะฝึก DNN ตัวเดียว ให้ฝึกชุดของ DNN หลายตัวแล้วหาค่าเฉลี่ยผลลัพธ์ เครือข่ายสำหรับการฝึกจะได้มาจากการปล่อยเซลล์ประสาทออกจากเครือข่ายด้วยความน่าจะเป็น $p$ ดังนั้นความน่าจะเป็นที่เซลล์ประสาทจะยังคงอยู่ในเครือข่ายคือ $q=1-p$ “การแยก” เซลล์ประสาทหมายความว่า เมื่อได้รับข้อมูลหรือพารามิเตอร์อินพุตใดๆ จะส่งคืนค่า 0 เซลล์ประสาทที่ถูกแยกออกจะไม่มีส่วนช่วยในกระบวนการเรียนรู้ในขั้นตอนใดๆ ของอัลกอริธึมการขยายพันธุ์กลับ ดังนั้นการยกเว้นเซลล์ประสาทอย่างน้อยหนึ่งตัวจึงเทียบเท่ากับการฝึกโครงข่ายประสาทเทียมใหม่ การทำให้เป็นมาตรฐานในสถิติ การเรียนรู้ของเครื่องจักร และทฤษฎีปัญหาผกผันเป็นวิธีการเพิ่มข้อจำกัดเพิ่มเติมบางประการให้กับเงื่อนไข เพื่อแก้ไขปัญหาที่วางอย่างไม่ถูกต้องหรือป้องกันการใส่มากเกินไป บ่อยครั้งที่ข้อมูลนี้อยู่ในรูปแบบของการลงโทษสำหรับความซับซ้อนของแบบจำลอง
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence