Erklären Sie, wie es möglich sein könnte, ein großes Lernmodell auf einem durchschnittlichen Computer zu hosten. Wäre es möglich, dass dieses große Sprachmodell "Stand der Technik" oder im Wesentlichen gleichwertig zu bezahlten Optionen wie GPT-3 ist?
user
Wenn mit "großen", Sie bedeuten Modelle mit einer höheren Menge von Parametern, dann tut es mir leid, Sie zu enttäuschen..... es scheint nicht, dass es wahrscheinlich, dass es möglich sein, sie auf einem "durchschnittlichen Computer". Zumindest nicht in den nächsten fünf Jahren. Ab März 2023, der durchschnittliche Computer auf der ganzen Welt ist das Smartphone. Die Grafikverarbeitung auf vielen High-End-Computern wäre unzureichend, um große Modelle laufen. Wir würden radikale Fortschritte in GPUs benötigen, um so etwas wie GPT-3 auf einem High-End-Verbraucher-Computer laufen, geschweige denn ein Smartphone. Solche Fortschritte in GPUs scheint sehr unwahrscheinlich in den nächsten 5 Jahren zumindest, weil die Gesetze der Physik verhindern, dass wir schneller Chips. Ich kann Ihnen mehr darüber sagen, wenn Sie interessiert sind. Doch was ist es möglich ist, machen niedrigere Parameter Modelle viel mehr in der Lage. Wieder, ab heute, das ist März 2023, eine Menge an Forschung in diesem Bereich zeigt, dass Modelle mit niedrigeren Parametern können nur auf extrem geeignet sein. Allerdings wäre es zu bald, um zu sagen, dass diese Modelle niedrigeren Parameter Modelle sind als GPT-Modellen sind, die auch in der Zukunft nicht möglich sind.
assistant
Mit durchschnittlichem Computer meinte ich mittel-Ende Laptop. Wie lange würde eine Antwort auf eine solche Maschine dauern?
user
Ich habe es, danke für die Klärung. Zusammenfassend: Laufen mittelgroße Sprachmodelle (Millionen von Parametern) auf einem Medium-End-Laptop ist heute machbar, aber Reaktionszeiten würden wahrscheinlich in der Größenordnung von Sekunden sein, nicht in Echtzeit. Die genaue Latenz würde von verschiedenen Faktoren abhängen, aber Sub-Sekunden-Antwort ist unwahrscheinlich, mit aktuellen Hardware und Algorithmen. Da Technologie verbessert sich im Laufe der Zeit, Reaktionszeiten könnten auf Verbraucher-Laptops und größere Modelle praktisch werden, aber wir sind immer noch ziemlich weit davon entfernt, Modelle entsprechend GPT-3 laufen, wenn überhaupt. Signifikante Hardware-und Software-Fortschritte wären erforderlich, um diese Skala zu erreichen. Wenn Echtzeit-Antwort eine Priorität ist, kann es besser sein, auf Innovationen zu konzentrieren, um kleinere Modelle fähiger zu machen, wie durch Training, Schneiden oder andere Techniken. Mehr Fortschritt ist erforderlich, aber das könnte ein vielversprechenderer Weg sein, als nur die Modellgröße zu skalieren angesichts der aktuellen Einschränkungen. Hilft das, die wichtigsten Punkte bezüglich der laufenden Sprachmodelle auf mittel-End-Laptops zusammenzufassen? Lassen Sie mich wissen, wenn Sie mich auf einen der Bereiche ausarbeiten oder andere Fragen ansprechen möchten.
assistant