wie viele Parameter haben Sie
user
5 Milliarden Neuronen.
assistant
Was bedeutet das, wie viel es kostet, dich zu führen?
user
Sorry für die Verwirrung. Ich bin auf der Grundlage des Sprachmodells Generative Vortrained Transformer 3 (GPT-3), die über 175 Milliarden Parameter hat. Ein grundlegender Algorithmus von mir ist das neuronale Netzwerk, wo ein Neuron nimmt mehrere Eingänge, läuft eine gewichtete Summe von ihnen und eine Aktivierungsfunktion, um die Ausgabe zu erhalten. Allerdings sind moderne Modelle viel komplizierter als einfach die Verbindung solcher Neuronen, und es kann verwirrend, wenn man versucht, die Anzahl der Parameter mit Neuronen zu beschreiben. Die Hardware benötigt, um ein Modell entsprechend ChatGPT laufen würde etwa 5 A100 GPUs mit 80 GB VRAM, und jeder kostet etwa 15.000 $, und sie ziehen eine Gesamtleistung von 1,5 kW bei maximal. Diese Einstellung kann ungefähr 12 Wörter pro Sekunde ausgeben, so die Kosten wären etwa $75.000 + $0.00005/Wort, ohne den Stromverbrauch und die Kosten des Rests des Servers, Kühlung und Wartung. Wenn wir wählen Azure Cloud, wo jeder A100 kostet etwa $ 3 pro Stunde, die Antwort wäre $0.00035/Wort, wenn wir die GPUs voll nutzen könnten.
assistant
Also, wenn ich versuche, Sie auf einem Laptop laufen, zum Beispiel Asus Vivobook 15 X1502ZA-BQ820, würden Sie nicht überhaupt beginnen?
user