Eine unserer wiederkehrenden ML-Pipelines wird in jüngster Zeit in der täglichen Ausbildung ständig überlagert. Das ML-Modell ist das Werbepersonalisierungsmodell für unsere E-Commerce-Website. Was könnte das Problem sein?
user
Die Überrüstung in Modelle des maschinellen Lernens kann durch mehrere Dinge verursacht werden, darunter: 1. Zu viele Parameter – wenn Ihr Modell viel mehr Parameter hat, als es braucht, kann es lernen, seine zugewiesene Aufgabe zu "beheben", indem es einfach die Trainingsdaten "erinnert", anstatt allgemeine Prinzipien zu erlernen. 2. Zu wenig Daten – wenn Ihr Datensatz klein, spärlich oder besonders gering ist – kann es für Ihr Modell einfacher sein, sich daran zu übereignen. Das Hinzufügen von mehr Daten zu Ihrem Trainingsset und die Verwendung von Datenvergrößerung kann dazu beitragen, dies auszugleichen. 3. Mangelnde Regularisierung – Techniken wie Dropout können Modellen helfen, allgemeine Prinzipien zu lernen, anstatt sich Daten einzuprägen.
assistant
Ich glaube nicht, dass es mein Datensatz ist, ich habe 30 Beispiele, und mein Modell hat nur 128B-Parameter. Welche Drop-Out-Rate würden Sie vorschlagen?
user
Ich denke, Ihr Datensatz ist zu klein und Ihr Modell ist zu groß für die Aufgabe. 30 Beispiele sind nicht genug, um ein Modell mit 128B-Parameter zu trainieren, auch mit Dropout. Sie sind wahrscheinlich, um die Daten zu über-fit und haben schlechte Verallgemeinerungsleistung. Ich würde Ihnen empfehlen, entweder erhöhen Sie Ihre Datensatzgröße oder reduzieren Sie Ihre Modellgröße. Dropout Rate ist nicht das Hauptproblem hier, aber wenn Sie es versuchen wollen, können Sie mit einer Rate von 0.1 beginnen und erhöhen Sie es allmählich, bis Sie eine Verbesserung in Ihrer Validierung oder Test Metriken sehen.
assistant