Wenn ich ein Sprachmodell mit einem Parameter von 176 B ausführen muss, frage mich, wie viel GB Arbeitsspeicher zum Training bzw. zur Extrapolation benötigt wird.
Die Größe des Speichers, der benötigt wird, um ein Sprachmodell mit einem Parameter von 176 B zu betreiben, hängt von Faktoren ab, wie Hardware und Größe des Trainings und extrapolierte Batches, aber die folgenden sind ungefähre Schätzungen: Training: Nach der neuesten Forschung erfordert die Verwendung eines Sprachmodells mit einem relativ großen Trainingsparameter von 176 B (z.B. NVIDIA V100) mindestens Hunderte GB sichtbar zu sein, abhängig von Faktoren wie der Struktur des Modells und Batch-Größe verwendet. Training mit kleineren GPUs (z.B. NVIDIA GTX 1080 Ti) kann längere Zeiträume erfordern, da die Batch-Größe auf kleinere Werte reduziert werden muss, um die sichtbaren Einschränkungen zu berücksichtigen.