aha I got it right thank you. I will continue to deliver the latter part of the thesis. Read it and ask for a summary!

 Method
To lower the computational demands of training diffusion models towards high-resolution image synthesis, we
observe that although diffusion models allow to ignore
perceptually irrelevant details by undersampling the corresponding loss terms [30], they still require costly function
evaluations in pixel space, which causes huge demands in
computation time and energy resources.
We propose to circumvent this drawback by introducing
an explicit separation of the compressive from the generative learning phase (see Fig. 2). To achieve this, we utilize
an autoencoding model which learns a space that is perceptually equivalent to the image space, but offers significantly
reduced computational complexity.
Such an approach offers several advantages: (i) By leaving the high-dimensional image space, we obtain DMs
which are computationally much more efficient because
sampling is performed on a low-dimensional space. (ii) We
exploit the inductive bias of DMs inherited from their UNet
architecture [71], which makes them particularly effective
for data with spatial structure and therefore alleviates the
need for aggressive, quality-reducing compression levels as
required by previous approaches [23, 66]. (iii) Finally, we
obtain general-purpose compression models whose latent
space can be used to train multiple generative models and
which can also be utilized for other downstream applications such as single-image CLIP-guided synthesis [25].
3.1. Perceptual Image Compression
Our perceptual compression model is based on previous
work [23] and consists of an autoencoder trained by combination of a perceptual loss [106] and a patch-based [33]
adversarial objective [20, 23, 103]. This ensures that the reconstructions are confined to the image manifold by enforcing local realism and avoids bluriness introduced by relying
solely on pixel-space losses such as L2 or L1 objectives.
More precisely, given an image x ∈ R
H×W×3
in RGB
space, the encoder E encodes x into a latent representation3
tion z = E(x), and the decoder D reconstructs the image from the latent, giving x˜ = D(z) = D(E(x)), where
z ∈ R
h×w×c
. Importantly, the encoder downsamples the
image by a factor f = H/h = W/w, and we investigate
Different downsampling factors f = 2m, with m ∈ N.
In order to avoid arbitrarily high-variance latent spaces,
we experiment with two different kinds of regularizations.
The first variant, KL-reg., imposes a slight KL-penalty towards a standard normal on the learned latent, similar to a
VAE [46, 69], whereas VQ-reg. uses a vector quantization
layer [96] within the decoder. This model can be interpreted
as a VQGAN [23] but with the quantization layer absorbed
by the decoder. Because our subsequent DM is designed
to work with the two-dimensional structure of our learned
In latent space z = E(x), we can use relatively mild compression rates and achieve very good reconstructions. This is
in contrast to previous works [23, 66], which relied on an
arbitrary 1D ordering of the learned space z to model its
distribution autoregressively and thereby ignored much of
the inherent structure of z. Hence, our compression model
preserves details of x better (see Tab. 8). The full objective
and training details can be found in the supplement.
3.2. Latent Diffusion Models
Diffusion Models [82] are probabilistic models designed to
learn a data distribution p(x) by gradually denoising a normally distributed variable, which corresponds to learning
the reverse process of a fixed Markov Chain of length T.
For image synthesis, the most successful models [15,30,72]
rely on a reweighted variant of the variational lower bound
on p(x), which mirrors denoising score-matching [85].
These models can be interpreted as an equally weighted
sequence of denoising autoencoders θ(xt, t); t = 1 . . . T,
which are trained to predict a denoised variant of their input
xt, where xt is a noisy version of the input x. The corresponding objective can be simplified to (Sec. B)
LDM = Ex, ~N(0,1),th
k − θ(xt, t)k
2
2
i
, (One)
with t uniformly sampled from {1, . . . , T}.
Generative Modeling of Latent Representations With
our trained perceptual compression models consisting of E
and D, we now have access to an efficient, low-dimensional
latent space in which high-frequency, imperceptible details
are abstracted away. Compared to the high-dimensional
pixel space, this space is more suitable for likelihood-based
generative models, as they can now (i) focus on the important, semantic bits of the data and (ii) train in a lower dimensional, computationally much more efficient space.
Unlike previous work that believed on autoregressive,
attention-based transformer models in a highly compressed,
In the discrete latent space [23,66,103], we can take advantage of
image-specific inductive biases that our model offers. This
Semantic
Map
crossattention
Latent Space Conditioning
Text
Diffusion Process
denoising step switch skip connection
Repres
entations
Pixel Space
Images
Denoising U-Net
concat
Figure 3. We condition LDMs either via concatenation or by a
more general cross-attention mechanism. See Sec. 3.3
includes the ability to build the underlying UNet primarily from 2D convolutional layers, and further focusing the
objective on the perceptually most relevant bits using the
reweighted bounds, which now reads
LLDM := EE(x), ~N(0,1),th
k − θ(zt, t)k
2
2
i
. (2)
The neural backbone θ(◦, t) of our model is realized as a
time-conditional UNet [71]. Since the forward process is
fixed, zt can be efficiently obtained from E during training,
and samples from p(z) can be decoded to image space with
a single pass through D.
3.3. Conditioning Mechanisms
Similar to other types of generative models [56, 83],
Diffusion models are in principle capable of modeling
conditional distributions of the form p(z|y). This can
be implemented with a conditional denoising autoencoder
θ(zt, t, y) and paves the way to controlling the synthesis
process through inputs y such as text [68], semantic maps
[33, 61] or other image-to-image translation tasks [34].
In the context of image synthesis, however, combining
the generative power of DMs with other types of conditionings beyond class-labels [15] or blurred variants of the input
image [72] is so far an under-explored area of ​​research.
We turn DMs into more flexible conditional image generators by augmenting their underlying UNet backbone with
the cross-attention mechanism [97], which is effective for
learning attention-based models of various input modalities [35,36]. To pre-process y from various modalities (such as
as language prompts) we introduce a domain specific encoder τθ that projects y to an intermediate representation
τθ(y) ∈ RM×dτ
, which is then mapped to the intermediate
layers of the UNet via a cross-attention layer implementing
Attention(Q, K, V) = softmax
QKT
√
d

· V , with
Q = W
(i)
Q ϕi(zt), K = W
(i)
K τθ(y), V = W
(i)
V
· τθ(y).
Here, ϕi(zt) ∈ R
N×d
i
denotes a (flattened) intermediate
representation of the UNet implementing θ and W
(i)
V ∈
4
CelebAHQ FFHQ LSUN-Churches LSUN-Beds ImageNet
Figure 4. Samples from LDMs trained on CelebAHQ [39], FFHQ [41], LSUN-Churches [102], LSUN-Bedrooms [102] and classconditional ImageNet [12], each with a resolution of 256 × 256. Best viewed when zoomed in. For more samples cf. the supplement.
R
d×d
i
, W
(i)
Q ∈ R
d×dτ & W
(i)
K ∈ R
d×dτ are learnable projection matrices [36, 97]. See Fig. 3 for a visual depiction.
Based on image-conditioning pairs, we then learn the
conditional LDM vias
LLDM := EE(x),y, ~N(0,1),th
k − θ(zt, t, τθ(y))k
2
2
i
, (3)
where both τθ and θ are jointly optimized via Eq. 3.This
The conditioning mechanism is flexible as τθ can be parameterized with domain-specific experts, e.g. (unmasked) transformers [97] when y are text prompts
감사합니다. 논문의 후반부를 계속 전달하겠습니다. 읽어보시고 요약을 요청해 주세요! 방법고해상도 이미지 합성을 위한 확산 모델 훈련의 계산 요구량을 낮추기 위해 다음과 같은 방법을 사용합니다.확산 모델을 사용하면 지각적으로 관련이 없는 세부 사항은 무시할 수 있지만해당 손실 조건을 언더 샘플링하여 지각적으로 관련없는 세부 사항을 무시할 수 있지만[30], 여전히 비용이 많이 드는 함수픽셀 공간에서 평가해야 하므로 계산 시간과 에너지 자원이계산 시간과 에너지 리소스가 많이 필요합니다.우리는 이러한 단점을 극복하기 위해 다음과 같은 방법을 제안합니다.압축을 생성 학습 단계에서 명시적으로 분리하여 이러한 단점을 극복할 것을 제안합니다(그림 2 참조). 이를 위해 우리는 다음을 활용합니다.이미지 공간과 지각적으로 동일한 공간을 학습하는 자동 인코딩 모델이지만, 계산 복잡성이 크게계산 복잡성을 크게 줄여줍니다.이러한 접근 방식은 다음과 같은 몇 가지 장점을 제공합니다.를 얻을 수 있으며, 다음과 같은 이유로 계산적으로 훨씬 더 효율적입니다.저차원 공간에서 샘플링을 수행하기 때문입니다. (ii) 우리는UNet에서 상속된 DM의 귀납적 편향성을 활용합니다.아키텍처[71]에서 물려받은 귀납적 편향성을 활용합니다.공간 구조를 가진 데이터에 대해 특히 효과적이며 따라서 공격적이고 품질이 좋은이전 접근 방식에서 요구되는 공격적이고 품질을 저하시키는 압축 수준에 대한 필요성필요성을 완화합니다 [23, 66]. (iii) 마지막으로, 우리는범용 압축 모델을 얻습니다.공간을 사용하여 여러 생성 모델을 훈련할 수 있고단일 이미지 CLIP 유도 합성과 같은 다른 다운스트림 애플리케이션에도 활용할 수 있습니다 [25].3.1. 지각적 이미지 압축우리의 지각적 압축 모델은 이전 연구를 기반으로 합니다.작업[23]을 기반으로 하며, 지각적 손실[106]과 패치 기반[33]의 조합으로 훈련된 자동 인코더로 구성됩니다.적대적 목표 [20, 23, 103]. 이를 통해 국소적 사실성을 강화하여 재구성이 이미지 매니폴드에 국한되도록 하고 픽셀 공간에만 의존함으로써 발생하는 흐릿함을 방지합니다.픽셀 공간 손실에만 의존함으로써 발생하는 흐릿함을 방지합니다.더 정확하게는 이미지 x ∈ RH×W×3의 RGB공간에서 인코더 E는 x를 잠재 표현3으로 인코딩합니다.z = E(x)로 인코딩하고, 디코더 D는 잠상으로부터 이미지를 재구성하여 x˜ = D(z) = D(E(x))를 제공합니다.z ∈ Rh×w×c. 중요한 것은, 인코더가 이미지를인자로 이미지를 다운샘플링한다는 것입니다.다른 다운샘플링 계수 f = 2m, m ∈ N.임의로 높은 분산의 잠재 공간을 피하기 위해,두 가지 종류의 정규화를 실험합니다.첫 번째 변형인 KL-reg. 는 학습된 잠복에 표준 정규에 대한 약간의 KL 페널티를 부과합니다.VAE [46, 69]와 유사하게 학습된 잠복에 표준 노멀에 대해 약간의 KL 페널티를 부과하는 반면, VQ-reg.레이어[96]를 사용합니다. 이 모델은 다음과 같이 해석할 수 있습니다.VQGAN[23]으로 해석할 수 있지만 양자화 레이어가 디코더에 의해양자화 레이어가 흡수됩니다. 후속 DM은 2차원과 함께 작동하도록 설계되었기 때문에학습된 2차원 구조와 함께 작동하도록 설계되었기 때문입니다.잠재 공간 z = E(x)에서는 비교적 낮은 압축률을 사용하여 매우 우수한 재구성을 얻을 수 있습니다. 이것은이전 작업 [23, 66]과는 대조적입니다.학습된 공간 z의 임의의 1D 순서를 사용하여 모델링합니다.분포를 자동 회귀적으로 모델링하여 많은 부분을 무시했습니다.따라서, 우리의 압축 모델은 x의 세부 정보를 더 잘 보존합니다(표 8 참조). 전체 목표및 훈련에 대한 자세한 내용은 부록에서 확인할 수 있습니다.3.2. 잠재 확산 모델확산 모델[82]은 다음을 위해 설계된 확률론적 모델입니다.정규 분포 변수를 점진적으로 노이즈 제거하여 데이터 분포 p(x)를 학습하는 것으로, 이는 학습에 해당합니다.길이 T의 고정 마르코프 체인의 역과정에 해당합니다.이미지 합성의 경우, 가장 성공적인 모델[15,30,72][15]은변형 하한에 가중치를 부여한 변형에 의존합니다.의 가중치 변형에 의존하는데, 이는 노이즈 제거 점수 매칭을 반영합니다[85].이러한 모델은 동일하게 가중치가 부여된노이즈 제거 자동 인코더의 시퀀스 θ(xt, t); t = 1 ... . T,입력의 노이즈 제거된 변형을 예측하도록 훈련된 자동 인코더의 동일한 가중치 시퀀스로 해석할 수 있습니다.여기서 xt는 입력 x의 노이즈 버전입니다. 해당 목표는 (Sec. B)로 단순화할 수 있습니다.LDM = Ex, ~N(0,1),thk - θ(xt, t)k22i, (One)에서 균일하게 샘플링된 t를 사용하여 {1, . . . , T}.잠재 표현의 생성적 모델링로 구성된 훈련된 지각 압축 모델을 사용하면, 이제 E와 D로 구성된 훈련된 지각 압축 모델을 통해 이제 효율적인 저차원의효율적이고 저차원적인 잠재 공간에 액세스할 수 있습니다.추상화할 수 있게 되었습니다. 고차원의 픽셀 공간과 비교하면픽셀 공간과 비교했을 때, 이 공간은 확률 기반의생성 모델에 더 적합합니다. (i) 데이터의 중요하고 의미 있는 비트에 집중할 수 있고 (ii) 저차원의 계산적으로 훨씬 효율적인 공간에서 훈련할 수 있기 때문입니다.자동 회귀를 믿었던 이전 작업과 달리,고도로 압축된 주의 기반 트랜스포머 모델,이산 잠재 공간[23,66,103]에서는 다음과 같은 이점을 활용할 수 있습니다.이미지별 귀납적 편향을 활용할 수 있습니다. 이시맨틱맵교차 주의잠재 공간 조건