Erklären Sie mir die Normalisierung
user
In der Statistik und in der Statistik kann die Normalisierung eine Reihe von Bedeutungen haben. Im einfachsten Fall bedeutet Normalisierung der Ratings, dass die Werte, die auf unterschiedlichen Skalen gemessen werden, auf eine begrifflich gemeinsame Skala, oft vor der Durchschnittung, angepasst werden. Im Falle der L2-Normalisierung wird diese Anpassung auf der Grundlage der L2-Norm angewendet, die definiert ist als: --x-2 = -_i(x_i^2) In diesem Fall würde die entsprechende Normalisierung definiert werden als: Norm(x) = x/-x-2
assistant
Wann sollte L2 Regularisierung in einem tiefen neuronalen Netzwerk verwendet werden, im Gegensatz zu, sagen wir, L1 Regularisierung?
user
L2 (Hülle) und L1 (Lasso) Regularisierung sind beide häufig für die Regularisierung von tiefen neuronalen Netzwerken verwendet, aber sie haben verschiedene Vor-und Nachteile: L2 Regularisierung: Vorteile: Kontinuierlich differenzierbar, so dass es die Konvexität der Verlustfunktion bewahrt und keine Knicke / Nicht-Smoothness. Dies ist wünschenswert für eine effiziente Gradienten-basierte Optimierung der Gewichte. treibt Gewichte nicht genau auf Null, nur reduziert ihre Größe. Dies kann wünschenswert sein, wenn Sie alle Merkmale / Inputs behalten wollen, sondern nur ihren Einfluss zu reduzieren. Nachteile: Verringert nicht explizit die Anzahl der Funktionen / Gewichte, so kann nicht produzieren spärliche Modelle / Lösungen. Dies kann nützlich sein, um zu reduzieren, aber die optimale L2 Regularisierung Hyperparameter / Koeffizient kann zu tun. L1 Regularisierung: Pros: führt zu spärliche Lösungen / Features Auswahl, Fahrgewichte von weniger wichtigen Funktionen genau auf Null.
assistant