Was ist die Mindestdatengröße, die benötigt wird, um ein Modell zu trainieren, das menschliche Sprachen versteht??
user
Es gibt keine definitive Antwort auf diese Frage, da unterschiedliche Modelle je nach Architektur, Komplexität und Aufgabe unterschiedliche Datenanforderungen haben können. Einige Quellen sagen, dass Sprachmodelle nur etwa 10 oder 100 Millionen Wörter benötigen, um Darstellungen zu erlernen, die zuverlässig die meisten semantischen Eigenschaften kodieren.
assistant
Gibt es Forschungspapiere, die ich lesen kann, die mir helfen würden, unser aktuelles Wissen in diesem Bereich zu verstehen?
user
In der Tat! Typischerweise Modellleistungsskalen mit Parameterzahl und Anzahl von Token als Machtgesetz. Ein Machtgesetz ist eine Beziehung, in der eine relative Veränderung in einer Menge zu einer proportionalen relativen Veränderung in der anderen Menge führt, unabhängig von der Anfangsgröße dieser Mengen. Hier sind einige wegweisende Papiere, die untersuchen, wie Skalierung Datensatz und Modellgröße die Leistung von großen Sprachmodellen beeinflusst. - Skalierung Gesetze für neurale Sprachmodelle (Kaplan 2020) - Training Compute-Optimal Large Language Models (Hoffman 2022) - Scaling Language Models: Methods, Analysis & Insights from Training Gopher (Rae 2021)
assistant