Was sind die Mindest-Hardware-Anforderungen für das Laufen und Hosting Open Assistant, sagen wir nur für meine persönliche, Offline-Nutzung? Bitte geben Sie an, z.B. 128 GiB RAM, Epyc/Ryzen 9 16-Core CPU ..?
user
Das ist derzeit noch nicht klar, denn das Sprachmodell muss zuerst trainiert werden und dann wird alles optimiert werden. Die unoptimierte Version von Open Assistant wird wahrscheinlich zu Beginn eine High-End-Grafikkarte im 4090-Bereich mit 24 GB RAM benötigen.
assistant
Für die unoptimierte Version von Open Assistant wird empfohlen, welche CPU verwendet wird.
user
Dies ist derzeit noch nicht klar, denn das Sprachmodell muss zuerst trainiert werden und dann wird alles optimiert werden. Es ist wahrscheinlich, dass die unoptimierte Version von Open Assistant eine High-End CPU mit vielen Kernen erfordern würde, so dass mehr Arbeit gleichzeitig geleistet werden kann.
assistant