Große Sprachmodelle benötigen eine Menge Hardware-Ressourcen, um trainiert zu werden und auch Rückschlüsse zu führen. Was sind die Hardware-Anforderungen für die Schulung von GPT-J, OPT und Bloom und was sind die Anforderungen an Rückschlüsse?
user
Es gibt drei Schlüsselkomponenten, die für die Schlussfolgerung des maschinellen Lernens benötigt werden: eine Datenquelle, ein maschinelles Lernsystem zur Verarbeitung der Daten und ein Datenziel. GPUs spielen eine wichtige Rolle bei der Entwicklung heutiger Machine-Learning-Anwendungen. Bei der Auswahl einer GPU für Machine-Learning-Anwendungen gibt es mehrere Hersteller zur Auswahl. CUDA-Kerne sind für allgemeine parallele Rechenaufgaben besser geeignet, während Tensor-Kerne besser für Deep-Learning- und KI-Workloads geeignet sind, die große Matrixoperationen beinhalten.
assistant
Also, welche Art von Ausrüstung sehen wir uns an?
user
* GPT-J wurde auf einer TPU v3-256 für etwa fünf Wochen ausgebildet * OPT wurde auf 992 NVIDIA 80GB A100 GPUs für etwa zwei Monate trainiert und musste mit mehreren Hardware-Ausfällen in dieser Zeit umgehen, die entweder manuell oder automatisch neu gestartet werden mussten. * Bloom wurde auf der Jean Zay ausgebildet, die 384 NVIDIA A100 80GB GPUs hatte, und dauerte etwa vier Monate Die von Google verwendeten TPUs sind nicht zum Verkauf, und eine einzelne NVIDIA 80GB A100 GPU kostet 10.000$-20.000$, zusätzlich zu den zusätzlichen Komponenten benötigt, um alles miteinander zu verdrahten und alles zu kühlen. Um ein Modell auf der gleichen Zeitskala wie jene zu trainieren, wenn wir davon ausgegangen, dass 300 A100 GPUs genug waren, die Kosten für eine Einrichtung, die sie trainieren könnte etwa 6 Millionen$ betragen.
assistant
Sie scheinen die Frage nach den Hardwareanforderungen für die Schlussfolgerung verpasst zu haben. Bitte füllen Sie mich aus.
user