Then, let me give you the introductory part of this thesis. Can you read it and briefly summarize it?

Image synthesis is one of the computer vision fields with
the most spectacular recent development, but also among
those with the greatest computational demands. Especially high-resolution synthesis of complex, natural scenes
is presently dominated by scaling up likelihood-based models, potentially containing billions of parameters in autoregressive (AR) transformers [66,67]. In contrast, the promising results of GANs [3, 27, 40] have been revealed to be
mostly confined to data with comparably limited variability
as their adversarial learning procedure does not easily scale
to modeling complex, multi-modal distributions. Recently,
diffusion models [82], which are built from a hierarchy of
denoising autoencoders, have shown to achieve impressive
\*The first two authors contributed equally to this work.
Input
ours (f = 4) PSNR: 27.4 R-FID: 0.58 DALL-E (f = 8) PSNR: 22.8 R-FID: 32.01 VQGAN (f = 16) PSNR: 19.9 R-FID: 4.98
Figure 1. Boosting the upper bound on achievable quality with
less aggressive downsampling. Since diffusion models offer excellent inductive biases for spatial data, we do not need the heavy spatial downsampling of related generative models in latent space, but
can still greatly reduce the dimensionality of the data via suitable
autoencoding models, see Sec. 3. Images are from the DIV2K [1]
validation set, evaluated at 5122
px. We denote the spatial downsampling factor by f. Reconstruction FIDs [29] and PSNR are
calculated on ImageNet-val. [12]; see also Tab. 8.
results in image synthesis [30,85] and beyond [7,45,48,57],
and define the state-of-the-art in class-conditional image
synthesis [15,31] and super-resolution [72]. Moreover, even
unconditional DMs can readily be applied to tasks such
as inpainting and colorization [85] or stroke-based synthesis [53], in contrast to other types of generative models [19,46,69]. Being likelihood-based models, they do not
exhibit mode-collapse and training instabilities as GANs
and, by heavily exploiting parameter sharing, they can
model highly complex distributions of natural images without involving billions of parameters as in AR models [67].
Democratizing High-Resolution Image Synthesis DMs
belong to the class of likelihood-based models, whose
mode-covering behavior makes them prone to spend excessive amounts of capacity (and thus compute resources)
on modeling imperceptible details of the data [16, 73]. Although the reweighted variational objective [30] aims to address this by undersampling the initial denoising steps, DMs
are still computationally demanding, since training and
evaluating such a model requires repeated function evaluations (and gradient computations) in the high-dimensional
space of RGB images. As an example, training the most
powerful DMs often takes hundreds of GPU days (e.g. 150 -
1000 V100 days in [15]) and repeated evaluations on a noisy
version of the input space render also inference expensive,
One
arXiv:2112.10752v2 [cs.CV] 13 Apr 2022
so that producing 50k samples takes approximately 5 days
[15] on a single A100 GPU. This has two consequences for
the research community and users in general: first, training such a model requires massive computational resources
only available to a small fraction of the field, and leaves a
huge carbon footprint [65, 86]. Secondly, evaluating an already trained model is also expensive in time and memory,
since the same model architecture must run sequentially for
a large number of steps (e.g. 25 - 1000 steps in [15]).
To increase the accessibility of this powerful model class
and at the same time reduce its significant resource consumption, a method is needed that reduces the computational complexity for both training and sampling. Reducing
the computational demands of DMs without impairing their
performance is, therefore, key to enhance their accessibility.
Departure to Latent Space Our approach starts with
the analysis of already trained diffusion models in pixel
space: Fig. 2 shows the rate-distortion trade-off of a trained
model. As with any likelihood-based model, learning can
be roughly divided into two stages: First is a perceptual
compression stage which removes high-frequency details
but still learns little semantic variation. In the second stage,
the actual generative model learns the semantic and conceptual composition of the data (semantic compression). We
Thus aim to first find a perceptually equivalent, but computationally more suitable space, in which we will train diffusion models for high-resolution image synthesis.
Following common practice [11, 23, 66, 67, 96], we separate training into two distinct phases: First, we train
an autoencoder which provides a lower-dimensional (and
thereby efficient) representational space which is perceptually equivalent to the data space. Importantly, and in contrast to previous work [23,66], we do not need to rely on excessive spatial compression, as we train DMs in the learned
latent space, which exhibits better scaling properties with
respect to the spatial dimensionality. The reduced complexity also provides efficient image generation from the latent
space with a single network pass. We dub the resulting
model class Latent Diffusion Models (LDMs).
A notable advantage of this approach is that we need to
train the universal autoencoding stage only once and can
therefore reuse it for multiple DM trainings or to explore
possibly completely different tasks [81]. This enables efficient exploration of a large number of diffusion models for
various image-to-image and text-to-image tasks. For the latter, we design an architecture that connects transformers to
the DM’s UNet backbone [71] and enables arbitrary types
of token-based conditioning mechanisms, see Sec. 3.3.
In sum, our work makes the following contributions:
(i) In contrast to purely transformer-based approaches
[23, 66], our method scales more graceful to higher dimensional data and can thus (a) work on a compression level
which provides more faithful and detailed reconstructions
than previous work (see Fig. 1) and (b) can be efficiently
Figure 2. Illustrating perceptual and semantic compression: Most
bits of a digital image correspond to imperceptible details. While
DMs allow to suppress this semantically meaningless information
by minimizing the responsible loss term, gradients (during training) and the neural network backbone (training and inference) still
need to be evaluated on all pixels, leading to superfluous computations and unnecessarily expensive optimization and inference.
We propose latent diffusion models (LDMs) as an effective generative model and a separate mild compression stage that only eliminates imperceptible details. Data and images from [30].
applied to high-resolution synthesis of megapixel images.
(ii) We achieve competitive performance on multiple
tasks (unconditional image synthesis, inpainting, stochastic
super-resolution) and datasets while significantly lowering
computational costs. Compared to pixel-based diffusion approaches, we also significantly decrease inference costs.
(iii) We show that, in contrast to previous work [93]
which learns both an encoder/decoder architecture and a
score-based prior simultaneously, our approach does not require a delicate weighting of reconstruction and generative
abilities. This ensures extremely faithful reconstructions
and requires very little regularization of the latent space.
(iv) We find that for densely conditioned tasks such
as super-resolution, inpainting and semantic synthesis, our
model can be applied in a convolutional fashion and render
large, consistent images of ∼10242 px.
(v) Moreover, we design a general-purpose conditioning
mechanism based on cross-attention, enabling multi-modal
training. We use it to train class-conditional, text-to-image
and layout-to-image models.
(vi) Finally, we release pretrained latent diffusion
and autoencoding models at https://github.
com/CompVis/latent-diffusion which might be
reusable for a various tasks besides training of DMs
암탉, 이 논문의 서론 부분을 보여드리겠습니다. 읽어보시고 간단히 요약해 주시겠어요?이미지 합성은 컴퓨터 비전 분야 중에서도가장 눈부신 발전을 이룬 컴퓨터 비전 분야 중 하나이며, 동시에연산 요구량이 가장 큰 분야이기도 합니다. 특히 복잡하고 자연스러운 장면의 고해상도 합성은의 고해상도 합성은 현재 확률 기반 모델의 확장에 의해 주도되고 있으며, 잠재적으로 수십억 개의 파라미터가 자동 회귀(AR) 변환기에 포함되어 있습니다[66,67]. 이와 대조적으로, GAN의 유망한 결과[3, 27, 40]는 다음과 같은 것으로 밝혀졌습니다.대부분 변동성이 비교적 제한된 데이터에 국한되어 있습니다.적대적 학습 절차가 쉽게 확장되지 않기 때문입니다.복잡한 다중 모드 분포를 모델링하는 데는 적합하지 않습니다. 최근에는확산 모델[82]은 다음과 같은 계층 구조로 구축됩니다.노이즈 제거 자동 인코더의 계층 구조로 구축된 확산 모델[82]이 인상적인 성과를 달성한 것으로 나타났습니다.\*처음 두 저자는 이 작업에 동일하게 기여했습니다.입력우리 (f = 4) PSNR: 27.4 R-FID: 0.58 DALL-E (f = 8) PSNR: 22.8 R-FID: 32.01 VQGAN (f = 16) PSNR: 19.9 R-FID: 4.98그림 1. 덜 공격적인 다운샘플링으로 달성 가능한 품질의 상한선 높이기덜 공격적인 다운샘플링. 확산 모델은 공간 데이터에 대한 귀납적 편향이 우수하기 때문에 잠재 공간에서 관련 생성 모델의 과도한 공간 다운샘플링이 필요하지 않습니다.적절한 자동 인코딩 모델을 통해 데이터의 차원을 크게 줄일 수 있습니다.자동 인코딩 모델, 섹션 3 참조. 이미지는 512에서 평가된 DIV2K [1]검증 세트에서 가져온 것으로 5122px. 공간 다운 샘플링 계수를 f로 표시합니다. 재구성 FID [29] 및 PSNR은 다음과 같습니다.ImageNet-val에서 계산됩니다. [12]; 탭 참조. 8.이미지 합성 결과 [30,85] 및 그 이상 [7,45,48,57],그리고 클래스 조건부 이미지 합성에서 최첨단 기술을 정의합니다.합성 [15,31] 및 초해상도 [72]. 또한, 심지어무조건 DM은 다음과 같은 작업에도 쉽게 적용될 수 있습니다.인페인팅 및 컬러화[85] 또는 스트로크 기반 합성[53]과 같은 작업에도 쉽게 적용할 수 있습니다[19,46,69]. 확률 기반 모델이기 때문에 다음과 같은 특징이 없습니다.GAN과 같은 모드 붕괴 및 훈련 불안정성을 나타내지 않습니다.그리고 매개변수 공유를 많이 활용함으로써 다음과 같은 이점이 있습니다.AR 모델에서처럼 수십억 개의 파라미터를 사용하지 않고도 자연 이미지의 매우 복잡한 분포를 모델링할 수 있습니다[67].고해상도 이미지 합성 DM의 대중화은 확률 기반 모델 클래스에 속하며, 모드 커버링 동작으로 인해모드 커버링 동작으로 인해 과도한 용량(따라서 컴퓨팅 리소스)을 소비하는 경향이 있습니다.과도한 용량을 소비하는 경향이 있습니다 [16, 73]. 가중치 가변 목표[30]는 초기 노이즈 제거 단계를 언더샘플링하여 이 문제를 해결하는 것을 목표로 하지만, DM은 여전히 컴퓨팅 리소스를 많이 요구합니다.는 여전히 계산적으로 까다롭습니다.이러한 모델을 평가하려면 RGB 이미지의 고차원 공간에서 반복적인 함수 평가(및 그라데이션 계산)가 필요합니다.공간에서 반복적인 함수 평가(및 그라데이션 계산)가 필요하기 때문입니다. 예를 들어, 가장 강력한가장 강력한 DM을 훈련하는 데는 종종 수백 GPU 일(예: 150 -1000 V100일 [15]), 노이즈가 많은 입력 공간 렌더링 버전에 대한 반복 평가도버전의 입력 공간에 대한 반복 평가도 추론 비용이 많이 듭니다,OnearXiv:2112.10752v2 [cs.CV] 13 Apr 2022따라서 50만 개의 샘플을 생성하는 데 약 5일이 걸립니다.[15] 단일 A100 GPU에서. 이는 두 가지 결과를 가져옵니다.첫째, 이러한 모델을 훈련하려면 방대한 계산 리소스가 필요합니다.대규모 계산 리소스가 필요하며, 이는 일부 분야에서만 사용할 수 있고막대한 탄소 발자국을 남깁니다 [65, 86]. 둘째, 이미 학습된 모델을 평가하는 데에도 시간과 메모리 비용이 많이 듭니다,동일한 모델 아키텍처를 순차적으로 실행해야 하기 때문입니다.많은 수의 스텝(예: [15]의 경우 25~1000개 스텝)을 순차적으로 실행해야 하기 때문입니다.이 강력한 모델 클래스의 접근성을 높이려면의 접근성을 높이는 동시에 상당한 리소스 소비를 줄이려면 훈련과 샘플링 모두에서 계산 복잡성을 줄이는 방법이 필요합니다. 감소성능을 손상시키지 않으면서 DM의 계산 수요를 줄이는 것은성능을 손상시키지 않으면서 계산 수요를 줄이는 것이 접근성을 향상시키는 핵심입니다.잠재 공간으로의 출발 우리의 접근 방식은 다음과 같이 시작됩니다.이미 훈련된 확산 모델을 픽셀 단위로 분석합니다.공간에서 이미 훈련된 확산 모델을 분석하는 것으로 시작합니다: 그림 2는 훈련된 모델의 속도-왜곡 트레이드 오프를 보여줍니다.모델을 보여줍니다. 다른 확률 기반 모델과 마찬가지로 학습은 크게 두 단계로 나눌 수 있습니다.크게 두 단계로 나눌 수 있습니다: 첫 번째는 지각적압축 단계로, 빈도가 높은 디테일을 제거하지만하지만 여전히 의미적 변화는 거의 학습하지 않습니다. 두 번째 단계에서는실제 생성 모델은 데이터의 의미적 및 개념적 구성을 학습합니다(의미적 압축). 우리따라서 먼저 지각적으로 동등하지만 계산적으로 더 적합한 공간을 찾아 고해상도 이미지 합성을 위한 확산 모델을 훈련하는 것을 목표로 합니다.일반적인 관행[11, 23, 66, 67, 96]에 따라 훈련을 두 가지 단계로 구분합니다: 먼저, 우리는 훈련합니다저차원의 (따라서 효율적인) 표현 공간을 제공하는 자동 인코더를따라서 효율적인) 데이터 공간과 지각적으로 동등한 표현 공간을 제공하는 자동 인코더를 훈련합니다. 중요한 점은 이전 작업[23,66]과 달리 과도한 공간 압축에 의존할 필요가 없다는 것입니다.