Erklären Sie mir die Normalisierung
user
In der Statistik und in der Statistik kann die Normalisierung eine Reihe von Bedeutungen haben. Im einfachsten Fall bedeutet Normalisierung der Ratings, dass die Werte, die auf unterschiedlichen Skalen gemessen werden, auf eine begrifflich gemeinsame Skala, oft vor der Durchschnittung, angepasst werden. Im Falle der L2-Normalisierung wird diese Anpassung auf der Grundlage der L2-Norm angewendet, die definiert ist als: --x-2 = -_i(x_i^2) In diesem Fall würde die entsprechende Normalisierung definiert werden als: Norm(x) = x/-x-2
assistant
Wann sollte L2 Regularisierung in einem tiefen neuronalen Netzwerk verwendet werden, im Gegensatz zu, sagen wir, L1 Regularisierung?
user
L2 und L1 Regularisierung sind beide Methoden verwendet, um zu verhindern, dass in tiefen neuronalen Netzwerken, die auftreten können, wenn das Netzwerk zu komplex ist und hat zu viele Parameter. Die Wahl zwischen L2 und L1 Regularisierung hängt von dem spezifischen Problem und den gewünschten Eigenschaften der Lösung. L2 Regularisierung, auch bekannt als Gewichtsverfall, fügt einen Strafbegriff der Verlustfunktion, die proportional zu der Summe der Quadrate der Gewichte ist. Dies hat die Wirkung der Schrumpfung der Gewichte in Richtung Null, die helfen kann, zu verhindern, Überrüstung. L1 Regularisierung, auf der anderen Seite, fügt eine Strafbegriff proportional zur Summe der absoluten Werte der Gewichte. Dies hat die Wirkung, dass die Gewichte spärlich, was bedeutet, dass viele von ihnen auf Null getrieben werden, und nur eine kleine Anzahl der Gewichte sind nicht-Null. Im Allgemeinen, L2 Regularisierung wird bevorzugt, wenn das Ziel ist, die Größe der Gewichte zu minimieren, während L1 Regularisierung wird bevorzugt, wenn das Ziel ist, eine dünne Lösung mit nur wenigen nicht-Null-Gewichten zu erhalten.
assistant