Erklären Sie mir die Normalisierung
user
In der Statistik und in der Statistik kann die Normalisierung eine Reihe von Bedeutungen haben. Im einfachsten Fall bedeutet Normalisierung der Ratings, dass die Werte, die auf unterschiedlichen Skalen gemessen werden, auf eine begrifflich gemeinsame Skala, oft vor der Durchschnittung, angepasst werden. Im Falle der L2-Normalisierung wird diese Anpassung auf der Grundlage der L2-Norm angewendet, die definiert ist als: --x-2 = -_i(x_i^2) In diesem Fall würde die entsprechende Normalisierung definiert werden als: Norm(x) = x/-x-2
assistant
Wann sollte L2 Regularisierung in einem tiefen neuronalen Netzwerk verwendet werden, im Gegensatz zu, sagen wir, L1 Regularisierung?
user
L2 und L1 Regularisierung sind beide Techniken verwendet, um Überrüstung in tiefen neuronalen Netzwerken zu verhindern. Die Wahl zwischen L2 und L1 Regularisierung hängt von der spezifischen Problem gelöst und die Eigenschaften der Daten. L2 Regularisierung ist die am häufigsten verwendete Regularisierungsmethode und fügt eine Strafbegriff der Verlustfunktion gleich der Summe der Quadrate der Gewichte. Dies hat die Wirkung, die Größe der Gewichte zu reduzieren und das Netzwerk zu ermutigen, kleine Gewichte zu verwenden. L2 Regularisierung wird oft verwendet, wenn die Daten normalerweise verteilt werden, da der Strafbegriff empfindlich auf große Gewichte und weniger empfindlich auf kleine Gewichte ist. L1 Regularisierung, auf der anderen Seite, fügt eine Strafbegriff der Verlustfunktion gleich der Summe der absoluten Werte der Gewichte. Dies hat die Wirkung, das Netzwerk zu ermutigen, spärliche Gewichte zu verwenden, mit vielen Gewichten gesetzt auf Null. L1 Regularisierung wird oft verwendet, wenn die Daten spärlich sind oder enthält viele irrelevant Funktionen, wie das Netzwerk zu verwenden, wie ein kleiner Teil der Funktionen. Im Allgemeinen, L2 Regularisierung ist die Wahl, wenn die Regelisierung ist, wenn das Ziel ist, L1 ist, während die Regelmäßigkeit der Berechnung, während die Regelmäßigkeit ist, während die Formelnierung ist, während die Regelisierung ist, während die Regelisierung.
assistant