Stable Diffusion works by adding noise to an image and then reversing the noising process gradually until there is no noise, thus generating a realistic image to match the text prompt. It uses a deep neural network to predict and subtract the noise image that was added to the original. It also compresses the image into a latent space, which is 48 times smaller than the image space, to reduce computation.
Stable Diffusion uses latent diffusion which is a technique that runs the diffusion process in a compressed space, called latent space, instead of pixel space. This makes training cost lower and inference speed faster. Latent diffusion models (LDMs) are trained to remove noise from latent codes, which are obtained by applying an autoencoder to images. LDMs can generate high-resolution images with various tasks, such as inpainting, super-resolution, or semantic scene synthesis.
การแพร่กระจายที่เสถียรทำงานโดยเพิ่มสัญญาณรบกวนให้กับภาพ จากนั้นค่อยๆ ย้อนกลับกระบวนการลดสัญญาณรบกวนจนกระทั่งไม่มีสัญญาณรบกวน จึงสร้างภาพที่สมจริงเพื่อให้ตรงกับข้อความแจ้ง ใช้โครงข่ายประสาทเทียมเชิงลึกเพื่อทำนายและลบภาพนอยส์ที่เพิ่มเข้าไปในต้นฉบับ นอกจากนี้ยังบีบอัดรูปภาพลงในพื้นที่แฝงซึ่งเล็กกว่าพื้นที่รูปภาพถึง 48 เท่า เพื่อลดการคำนวณ การแพร่กระจายที่เสถียรใช้การแพร่กระจายแฝงซึ่งเป็นเทคนิคที่ดำเนินกระบวนการแพร่กระจายในพื้นที่ที่ถูกบีบอัด เรียกว่าพื้นที่แฝง แทนที่จะเป็นพื้นที่พิกเซล ทำให้ต้นทุนการฝึกอบรมลดลงและความเร็วในการอนุมานเร็วขึ้น โมเดลการแพร่กระจายแฝง (LDM) ได้รับการฝึกฝนเพื่อขจัดสัญญาณรบกวนจากโค้ดแฝง ซึ่งได้มาจากการใช้ตัวเข้ารหัสอัตโนมัติกับรูปภาพ LDM สามารถสร้างภาพที่มีความละเอียดสูงด้วยงานต่างๆ เช่น การลงสี ความละเอียดพิเศษ หรือการสังเคราะห์ฉากแบบความหมาย
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence