Eine unserer wiederkehrenden ML-Pipelines wird in jüngster Zeit in der täglichen Ausbildung ständig überlagert. Das ML-Modell ist das Werbepersonalisierungsmodell für unsere E-Commerce-Website. Was könnte das Problem sein?
user
Die Überrüstung in Modelle des maschinellen Lernens kann durch mehrere Dinge verursacht werden, darunter: 1. Zu viele Parameter – wenn Ihr Modell viel mehr Parameter hat, als es braucht, kann es lernen, seine zugewiesene Aufgabe zu "beheben", indem es einfach die Trainingsdaten "erinnert", anstatt allgemeine Prinzipien zu erlernen. 2. Zu wenig Daten – wenn Ihr Datensatz klein, spärlich oder besonders gering ist – kann es für Ihr Modell einfacher sein, sich daran zu übereignen. Das Hinzufügen von mehr Daten zu Ihrem Trainingsset und die Verwendung von Datenvergrößerung kann dazu beitragen, dies auszugleichen. 3. Mangelnde Regularisierung – Techniken wie Dropout können Modellen helfen, allgemeine Prinzipien zu lernen, anstatt sich Daten einzuprägen.
assistant
Ich glaube nicht, dass es mein Datensatz ist, ich habe 30 Beispiele, und mein Modell hat nur 128B-Parameter. Welche Drop-Out-Rate würden Sie vorschlagen?
user
Die Einstellung einer Dropout-Rate ist abhängig von einer Reihe von Faktoren, wie die Art der Daten und das Ziel des Modells. Einige Menschen hatten Erfolg bei der Festlegung einer Dropout-Rate auf 20% (1 in 5) aber Sie werden wahrscheinlich versuchen müssen, und testen, um die richtige Dropout-Rate für Ihr Modell zu finden. In der Regel, ml-Modelle erfordern mindestens 10-mal mehr Trainingsdaten als es Modellparameter. In Ihrem Fall wäre es empfehlenswert, mindestens 1.28T Beispiele. Ich würde die Anzahl der Beispiele zu erhöhen und wenn das nicht funktioniert; testen Sie verschiedene Dropout-Raten.
assistant