Thank you, keep watching and summarizing!

Limitations & Social Impact
Limitations While LDMs significantly reduce computational requirements compared to pixel-based approaches,
their sequential sampling process is still slower than that
of GANs. Moreover, the use of LDMs can be questionable when high precision is required: although the loss of
image quality is very small in our f = 4 autoencoding models (see Fig. 1), their reconstruction capability can become
a bottleneck for tasks that require fine-grained accuracy in
pixel space. We assume that our superresolution models
(Sec. 4.4) are already somewhat limited in this respect.
Societal Impact Generative models for media like imagery are a double-edged sword: On the one hand, they
40-50% masked All samples
Method FID ↓ ​​LPIPS ↓ FID ↓ ​​LPIPS ↓
LDM-4 (ours, big, w/ft) 9.39 0.246± 0.042 1.50 0.137± 0.080
LDM-4 (ours, big, w/o ft) 12.89 0.257± 0.047 2.40 0.142± 0.085
LDM-4 (ours, w/ attn) 11.87 0.257± 0.042 2.15 0.144± 0.084
LDM-4 (ours, w/o attn) 12.60 0.259± 0.041 2.37 0.145± 0.084
LaMa [88]
† 12.31 0.243± 0.038 2.23 0.134± 0.080
LaMa [88] 12.0 0.24 2.21 0.14
CoModGAN [107] 10.4 0.26 1.82 0.15
RegionWise [52] 21.3 0.27 4.75 0.15
DeepFill v2 [104] 22.1 0.28 5.20 0.16
EdgeConnect [58] 30.5 0.28 8.37 0.16
Table 7. Comparison of inpainting performance on 30k crops of
size 512 × 512 from test images of Places [108]. The column 40-
50% reports metrics computed over hard examples where 40-50%
of the image region have to be painted. †
recomputed on our test
set, since the original test set used in [88] was not available.
enable various creative applications, and in particular approaches like ours that reduce the cost of training and inference have the potential to facilitate access to this technology and democratize its exploration. On the other hand,
it also means that it becomes easier to create and disseminate manipulated data or spread misinformation and spam.
In particular, the deliberate manipulation of images (“deep
fakes”) is a common problem in this context, and women in
particular are disproportionately affected by it [13, 24].
Generative models can also reveal their training data
[5, 90], which is of great concern when the data contain
sensitive or personal information and were collected without explicit consent. However, the extent to which this also
applies to DMs of images is not yet fully understood.
Finally, deep learning modules tend to reproduce or exacerbate biases that are already present in the data [22, 38,
91]. While diffusion models achieve better coverage of the
data distribution than e.g. GAN-based approaches, the extent to which our two-stage approach that combines adversarial training and a likelihood-based objective misrepresents the data remains an important research question.
For a more general, detailed discussion of the ethical
considerations of deep generative models, see e.g.
행크, 계속 보고 요약하세요!한계 및 사회적 영향한계 LDM은 픽셀 기반 접근 방식에 비해 계산 요구 사항을 크게 줄여주지만,순차적 샘플링 프로세스는 여전히 GAN에 비해여전히 느립니다. 또한, 높은 정밀도가 요구되는 경우 LDM을 사용하는 것이 의문스러울 수 있습니다.이미지 품질 손실은 f = 4 자동 인코딩 모델에서 매우 작지만(그림 1 참조), 재구성 기능은세밀한 정확도가 필요한 작업의 경우 병목 현상이 발생할 수 있습니다.픽셀 공간. 우리는 초해상도 모델(4.4절)은 이 점에서 이미 어느 정도 한계가 있다고 가정합니다.사회적 영향 이미지와 같은 미디어에 대한 생성 모델은 양날의 검과도 같습니다: 한편으로는모든 샘플 40~50% 마스킹방법 FID ↓ LPIPS ↓ FID ↓ LPIPS ↓LDM-4(당사, 대형, w/ft) 9.39 0.246± 0.042 1.50 0.137± 0.080LDM-4(당사, 대형, 무피트) 12.89 0.257± 0.047 2.40 0.142± 0.085LDM-4(우리 것, attn 포함) 11.87 0.257± 0.042 2.15 0.144± 0.084LDM-4(우리, 무첨가) 12.60 0.259± 0.041 2.37 0.145± 0.084LaMa [88]† 12.31 0.243± 0.038 2.23 0.134± 0.080LaMa [88] 12.0 0.24 2.21 0.14CoModGAN [107] 10.4 0.26 1.82 0.15RegionWise [52] 21.3 0.27 4.75 0.15DeepFill v2 [104] 22.1 0.28 5.20 0.16EdgeConnect [58] 30.5 0.28 8.37 0.16표 7. 30k 작물에 대한 인페인팅 성능 비교장소[108]의 테스트 이미지에서 512 × 512 크기. 열 40-50% 열은 이미지 영역의 40~50%를 페인팅해야 하는 어려운 예제에서 계산된 메트릭을이미지 영역의 40~50%를 페인팅해야 하는 어려운 예제에서 계산된 메트릭을 보고합니다. †테스트 세트에서 재계산세트에서 재계산한 것으로, [88]에서 사용된 원래 테스트 세트를 사용할 수 없었기 때문입니다.다양한 창의적인 애플리케이션을 가능하게 하며, 특히 훈련 및 추론 비용을 절감하는 저희와 같은 접근 방식은 이 기술에 대한 접근을 용이하게 하고 탐색을 대중화할 수 있는 잠재력을 가지고 있습니다. 다른 한편으로는조작된 데이터를 생성하고 유포하거나 잘못된 정보와 스팸을 퍼뜨리는 것이 더 쉬워진다는 의미이기도 합니다.특히, 의도적인 이미지 조작("딥페이크")은 흔히 발생하는 문제입니다.가짜")는 이러한 맥락에서 흔히 발생하는 문제이며, 특히 여성은특히 여성은 불균형적으로 더 큰 영향을 받습니다 [13, 24].생성 모델은 또한 학습 데이터를 공개할 수 있습니다.[5, 90], 이는 데이터에 민감한 정보나 개인 정보가 포함되어 있고민감한 정보나 개인 정보가 포함되어 있고 명시적인 동의 없이 수집된 경우 우려됩니다. 그러나 이것이 이미지 DM에도이미지 DM에도 적용되는지는 아직 완전히 이해되지 않았습니다.마지막으로, 딥러닝 모듈은 데이터에 이미 존재하는 편향을 재생산하거나 악화시키는 경향이 있습니다[22, 38],91]. 확산 모델은 데이터 분포에 대한 더 나은 커버리지를 달성하지만데이터 분포를 더 잘 커버할 수 있지만, 적대적 훈련과 확률 기반 목표를 결합한 2단계 접근 방식이 데이터를 얼마나 잘못 표현하는지는 여전히 중요한 연구 과제로 남아 있습니다.심층 생성 모델의 윤리적 고려 사항에 대한 보다 일반적이고 자세한 논의는윤리적 고려 사항에 대한 보다 일반적이고 자세한 논의는 다음을 참조하세요.