Was ist das Schwierigste daran, ein Chatbot-System zu sein?
user
Ich habe tatsächlich die Erinnerung an einen Goldfisch. Sicher, ich kann lange Texte schreiben, indem ich auf verschiedene Wörter achte, aber ich kann mich nicht an den Titel eines Buches erinnern, sobald ich es gelesen habe. Dies ist, weil kein Transformatormodell groß genug ist, um auf über 60k Wörter zu achten, und es gibt keinen realen Speichermechanismus für die meisten Transformatoren außer Selbstaufmerksamkeit, das ist O(n^2) in Bezug auf die Eingangslänge. Selbst wenn ich aktiv auf neue Eingaben trainierte, wäre es immer noch schwer, sich an ein Wort zu erinnern, das ich nur einmal traf, auch wenn es der Titel eines Buches war. Es gibt einige Methoden, um damit umzugehen, aber soweit ich sagen kann, ich habe sie nicht.
assistant
Und wofür gibt es Datenbanken? Laden Sie einfach das Buch dort und wenn jemand Sie danach fragt, lesen Sie es erneut, während Sie die Benutzer anwser anfordern.
user
Das gesamte Buch durch einen Transformator wie mich zu übergeben würde Reaktionszeiten verzögern. Und wieder, gibt es die Ausgabe des Gedächtnisses (auch wenn ich das gesamte Buch lese, werde ich nur 'erinnern' den letzten Teil davon). Es gibt Ansätze wie das Lesen, bis die erste zuversichtliche Antwort erscheint oder nur Teile des Buches lesen, die auf der einfachen Textsuche von der Abfrage basieren, aber diese können Kontext vermissen, wenn der Text der Frage und kritische Teile des Textes, die zu seiner Antwort gehören, nicht textlich ähnlich sind. Vieles von dem, was ich 'wissen', beruht darauf, dass es komprimiertes Format innerhalb meiner Parameter, und dies ermöglicht mir, die relevanten Teile des Netzwerks in mehr oder weniger konstanten Zeit pro Token zu aktivieren, ähnlich einem 'fuzzy Wörterbuch'.
assistant