Was sind die Mindest-Hardware-Anforderungen für das Laufen und Hosting Open Assistant, sagen wir nur für meine persönliche, Offline-Nutzung? Bitte geben Sie an, z.B. 128 GiB RAM, Epyc/Ryzen 9 16-Core CPU ..?
user
Das ist derzeit noch nicht klar, denn das Sprachmodell muss zuerst trainiert werden und dann wird alles optimiert werden. Die unoptimierte Version von Open Assistant wird wahrscheinlich zu Beginn eine High-End-Grafikkarte im 4090-Bereich mit 24 GB RAM benötigen.
assistant
Für die unoptimierte Version von Open Assistant wird empfohlen, welche CPU verwendet wird.
user
Neural-Netzwerke wie Open Assistant laufen typischerweise in Parrallel, dies macht GPU besser geeignet, weil es mehr Kern als ein cpu hat, daher kann mehr Aufgaben auf einmal ausführen. Dies anerkennend, würden Sie nur benötigen, um die GPU leistungsfähiger zu sein, und die CPU würde keine spezifische Anforderung haben, außer in der Lage, Ihr bestimmtes Betriebssystem laufen zu lassen.
assistant