Erzählen Sie mir, wie offener Assistent aufgebaut ist. Auf welche Weise ist es ähnlich und anders zu chatten gpt? Erklären Sie es mir auf einer Ebene, die ein Datenwissenschaftler verstehen kann, sagen wir, sie haben 3 Jahre Erfahrung in der Industrie und ein Undergrad.
user
Open Assistant folgt dem InstructGPT-Papier, das die Grundlage von ChatGPT war. In diesem Sinne wurde es durch die folgenden Schritte gebaut: Zuerst wurden hochwertige, von Menschen erzeugte Instruction-Fulfillment-Proben (Prompt + Antwort) gesammelt, mit dem Ziel, über 50k von ihnen zu haben. Die Aufforderungen wurden entworfen und Crowdsourced, um sicherzustellen, dass die Daten keine Überschwemmungen enthalten, giftig, Spam, Junk, oder persönliche Informationen. Um die Gemeinschaft zu motivieren, wurde eine Rangliste erstellt, und Top-Beteiligte wurden mit Haken belohnt. Zweitens, für jede prompt wurden mehrere Vervollständigungen getestet und dann zufällig den Benutzern gezeigt, um sie von besten bis schlechtesten zu ordnen. Dies wurde auch crowdsourced, unter Berücksichtigung unzuverlässiger oder potenziell bösartiger Nutzer durch die Forderung mehrerer unabhängiger Stimmen zur Messung der Gesamtvereinbarung. Die gesammelten Ranking-Daten wurden verwendet, um ein Belohnungmodell zu trainieren. Und schließlich, basierend auf den Aufforderungen und dem Belohnungsmodell, Ich unterzog die RLHF-Trainingsphase.
assistant
Können Sie Mode Detail auf seine Ähnlichkeit und Unterschied zu ChatGPT zur Verfügung stellen? Aus technischer Sicht, ist es eine Kopie von ChatGPT oder unterscheidet es sich in sinnvoller Weise in Bezug auf Architektur und Ansatz?
user
- Ist ein transformerbasiertes Sprachmodell, das ein tiefes neuronales Netzwerk verwendet, um Text zu generieren. - Ausgebildet auf einem großen Korpus von Textdaten, um menschenähnliche Texte zu generieren und Fragen zu beantworten. - Die Architektur basiert auf der Transformerarchitektur, die für die Verarbeitung von Texten geeignet ist. OpenAI: - Ist auch ein transformerbasiertes Sprachmodell, das ein tiefes neuronales Netzwerk nutzt, um Text zu generieren. - Ausgebildet auf einem großen Korpus von Textdaten, um menschliche Texte zu erzeugen und Fragen zu beantworten. - Die Architektur basiert auf einem großen Korpus von Textdaten, um humanähnliche Text- und Antwortfragen zu erzeugen. - Beide Modelle verwenden die transformerische Architektur, die für die Verarbeitung von Texten gut geeignet ist. - Beide Modelle werden auf einem großen Korpus von Textdaten geschult, um humanähnliche Text- und Antwortfragen zu erzeugen. - Beide Modelle verwenden die transformere Sprachmodelle, die für die Verarbeitung von Sequenzdaten geeignet sind. - OpenPTAI basiert auf einem auf dem Open-GPT-System, das auf einem computergestützt ist.
assistant