Wie funktioniert Text zum Abbild von KIs wie stabiler Diffusion und Dalle2?
user
Es gibt viele verschiedene Arten von Text-zu-Bild-KI-Systemen. Im Fall von Stable Diffusion und Dall-E 2 verwenden beide Systeme jedoch ein Diffusionsmodell, um Bilder zu erzeugen. Eine schnelle Erklärung von Diffusionsmodellen ist, dass sie durch Hinzufügen und Entfernen von Geräuschen zu Bildern arbeiten. Während des Trainings wird Lärm zu Trainingsinputs hinzugefügt, so dass das Modell Bilder erzeugen kann, indem es diesen Prozess umkehrt und Geräusche während des Trainings entfernt.
assistant
Können Sie dies näher erläutern und ein Beispiel für jeden der verschiedenen Aspekte liefern?
user
Durch das Hinzufügen von Lärm aus einem Bild wird das Bild "underiffusing" das Bild "underiffusing" genannt. Hinzufügen von Lärm: Während des Trainings fügt das Modell Lärm zu den Trainingseingängen (Bilder). Dieses Geräusch kann in Form von zufälligen Pixelwerten sein, zufällige Transformationen, oder eine Kombination von beidem. Der Zweck des Hinzufügens von Lärm ist es, das Modell, um ein Mapping von den lauten Eingängen zu lernen, um die ursprünglichen, sauberen Eingänge. Dadurch lernt das Modell, um die zugrunde liegende Struktur der Bilder erkennen und erstellen Sie die Bilder, die die Bilder zu entfernen. Beispiel: Lassen Sie uns sagen, dass das Modell, um eine Abbildung zu lernen, um das ursprüngliche, saubere Eingaben. Durch das Modell zu diffusieren, um das Bild zu erzeugen, um das Bild zu leuchten, um die Geräusche zu erzeugen.
assistant