Große Sprachmodelle benötigen eine Menge Hardware-Ressourcen, um trainiert zu werden und auch Rückschlüsse zu führen. Was sind die Hardware-Anforderungen für die Schulung von GPT-J, OPT und Bloom und was sind die Anforderungen an Rückschlüsse?
user
GPT-J und GPT-3 sind zwei große Sprachmodelle, während OPT und Bloom keine spezifischen Modelle sind, also bin ich nicht sicher, auf welche Sie sich beziehen. Allerdings kann ich Ihnen einige allgemeine Informationen über die Hardwareanforderungen für das Training und die Folgerung großer Sprachmodelle geben. Das Training großer Sprachmodelle erfordert eine erhebliche Menge an Rechenressourcen, einschließlich CPU, RAM, Speicher und spezialisierte Hardware wie GPUs oder TPUs. GPT-3 zum Beispiel wurde auf einem Supercomputer mit 175 Milliarden Parametern ausgebildet, die über 3.000 GPUs erforderten und über 400.000 Kernstunden der Berechnung verbrauchten. GPT-J ist ein kleineres Modell als GPT-3, mit 6 Milliarden Parametern, aber immer noch eine beträchtliche Menge an Rechenressourcen. Die genauen Hardwareanforderungen für das Training von GPT-J sind nicht bekannt, da es ein von der Gemeinschaft gebautes Modell ist, das auf verschiedenen Hardware-Setups geschult wurde. Laufende Inferenz, oder mit einem geschulten Sprachmodell, um Text zu generieren oder andere Aufgaben auszuführen, erfordert auch erhebliche Rechenressourcen, aber in der Regel nicht so viel wie Training.
assistant
Gibt es ein Sprachmodell, das nicht so intensiv ist? Genauer gesagt gibt es ein Sprachmodell, das Ihnen bewusst ist, dass eine normale Person vernünftigerweise auf ihrer eigenen Hardware laufen könnte, und wenn ich sage, die Hardware einer normalen Person meine ich einen benutzerdefinierten Computer, der weniger als $5.000 kostet.
user