Stable diffusion is a deep generative neural network which used a kind of diffusion model called a latent diffusion model (LDM). Diffusion models are constructed by first describing a procedure for gradually turning data into noise, and then training a neural network that learns to invert this procedure step-by-step. Each of these steps consists of taking a noisy input and making it slightly less noisy, by filling in some of the information obscured by the noise.
Stable Diffusion consists of 3 parts: the variational autoencoder (VAE), U-Net, and an optional text encoder. The VAE encoder is used to reduce the size of the input image (down sampling) to what is called the latent image, then gaussian noise is added to this latent image and the U-Net is asked to reverse this noising step. Finally, a VAE decoder is used to convert the latent image back to the original size of the input image (up sampling).
การแพร่กระจายที่เสถียรคือโครงข่ายประสาทเทียมที่สร้างเชิงลึกซึ่งใช้แบบจำลองการแพร่กระจายชนิดหนึ่งที่เรียกว่าแบบจำลองการแพร่กระจายแฝง (LDM) แบบจำลองการแพร่กระจายถูกสร้างขึ้นโดยการอธิบายขั้นตอนในการค่อยๆ เปลี่ยนข้อมูลให้เป็นสัญญาณรบกวน จากนั้นจึงฝึกโครงข่ายประสาทเทียมที่เรียนรู้ที่จะกลับขั้นตอนนี้ทีละขั้นตอน แต่ละขั้นตอนประกอบด้วยการรับอินพุตที่มีเสียงรบกวนและทำให้มีเสียงรบกวนน้อยลงเล็กน้อย โดยการกรอกข้อมูลบางส่วนที่ถูกเสียงรบกวนบดบัง Stable Diffusion ประกอบด้วย 3 ส่วน ได้แก่ Variational Autoencoder (VAE), U-Net และตัวเข้ารหัสข้อความเสริม ตัวเข้ารหัส VAE ใช้เพื่อลดขนาดของรูปภาพอินพุต (การสุ่มตัวอย่างด้านล่าง) ให้เหลือขนาดที่เรียกว่ารูปภาพแฝง จากนั้นสัญญาณรบกวนแบบเกาส์จะถูกเพิ่มลงในรูปภาพแฝงนี้ และขอให้ U-Net กลับขั้นตอนสัญญาณรบกวนนี้ ในที่สุด ตัวถอดรหัส VAE จะใช้ในการแปลงรูปภาพแฝงกลับไปเป็นขนาดดั้งเดิมของรูปภาพอินพุต (การสุ่มตัวอย่าง)
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence