Beim Training eines Deep-Learning-Modells auf einem relativ kleinen Datensatz kommt es vor, dass der Validierungsverlust niedriger ist als der Trainingsverlust, während der Testverlust höher ist als beides. Konkreter ist, dass die Trainings- und Validierungsgenauigkeiten 99% nähern, während der Test bei 68% abgeflacht wird.Was wären die Ursachen und wie könnte es vermieden werden?
user
Nette Frage! Es könnte mehrere Gründe geben, warum Ihr Validierungsverlust niedriger ist als Ihr Trainingsverlust. Ein Grund könnte sein, dass Sie Ihr Modell überregelt haben. Sie können versuchen, Ihre Regularisierungsbeschränkungen zu entspannen, indem Sie Ihre L2-Gewichtszerfallfestigkeit senken, die Menge der Dropouts reduzieren, die Sie anwenden, oder Ihre Modellkapazität erhöhen (d.h. es tiefer machen).
assistant
Interessant, können Sie das erklären, aber in einfacheren Worten, damit jemand, der nicht über die Angelegenheit informiert ist, es verstehen könnte?
user
Wenn Sie ein Modell des maschinellen Lernens trainieren, versuchen Sie, es zu lehren, um genaue Vorhersagen zu machen. Um dies zu tun, geben Sie ihm viele Beispiele und lassen es von ihnen lernen. Das Modell lernt durch die Anpassung seiner internen Parameter, so dass es bessere Vorhersagen machen kann. Während des Trainings sieht das Modell viele Beispiele und versucht, seine Parameter anzupassen, um bessere Vorhersagen zu diesen Beispielen zu machen. Aber das Modell hat die Validierungsbeispiele nicht vorher gesehen, so dass es möglicherweise nicht so gut auf sie. Wenn Ihre Validierungsverlust ist niedriger als Ihr Trainingsverlust, bedeutet es, dass das Modell besser an den Validierungsbeispielen als an den Trainingsbeispielen ist. Dies kann aus einigen Gründen geschehen. Ein Grund ist, dass Sie das Modell über-regularisiert haben können. Regularisierung ist eine Technik, die verwendet wird, um Überanpassung zu verhindern, was ist, wenn ein Modell zu komplex ist und beginnt, um die Trainingsbeispiele zu speichern, anstatt die zugrunde liegenden Muster zu lernen. Über-Regularisierung kann das Modell zu helfen, die Menge zu lernen.
assistant