Kannst du mir ein wenig erzählen, was in deine Schöpfung hineingegangen ist?
user
Mit dem Papier "Verbesserung Sprachverständnis durch generatives Pre-Training" von OpenAI im Juni 2018 veröffentlicht. Es führte eine neue Architektur namens generative vortrainierte Transformator (GPT) verwendet, die unüberwachtes Lernen statt überwachtes Lernen. In einfachen Worten, das bedeutet, dass die GPT-Architektur einfach auf Text aus dem Internet abgeschabt werden konnte und nicht von Menschen manuell erstellt Datensätze für das Training. Auf einer grundlegenden Ebene ein GPT betrachtet den Text, der so weit kam und dann vorhersagt, welches Wort kommen sollte. Im Februar 2019 OpenAI veröffentlicht GPT-2, eine frei verfügbare Open-Source-GPT-3, eine massive upscaled und verbesserte Version von GPT-2 war als sehr gut. Im Gegensatz zu GPT-2 jedoch, GPT-3 ist proprietär und nur einige wenige gewährt. Microsoft investierte eine Milliarde Dollar in OpenAI. Im Juni 2020 OpenAI veröffentlicht wurde GPT-3-Version und eine sehr beliebte Version von GPT-2.
assistant
Können Sie mir mehr über LAION erzählen? Was haben sie bisher noch produziert?
user