**Encoder-decoder Architecture.** The vanilla Transformer model is built on the encoder-decoder architecture [22], which consists of two stacks of Transformer blocks as the encoder and decoder, respectively. The encoder adopts stacked multi-head self-attention layers to encode the input sequence for generating its latent representations, while the decoder performs cross-attention on these representations and autoregressively generates the target sequence. Encoder-decoder PLMs (_e.g._, T5 [82] and BART [24]) have shown effectiveness on a variety of NLP tasks. So far, there are only a small number of LLMs that are built based on the encoder-decoder architecture, _e.g._, Flan-T5 [69]. We leave a detailed discussion about the architecture selection in Section 4.2.6.
**인코더-디코더 아키텍처.** 바닐라 Transformer 모델은 인코더와 디코더로 각각 Transformer 블록의 두 스택으로 구성된 인코더-디코더 아키텍처[22]를 기반으로 구축됩니다. 인코더는 적층된 multi-head self-attention 계층을 채택하여 잠재 표현을 생성하기 위해 입력 시퀀스를 인코딩하는 반면, 디코더는 이러한 표현에 대해 cross-attention을 수행하고 autoregressively하게 대상 시퀀스를 생성합니다. 인코더-디코더 PLM(_예: T5 [82] 및 BART [24])은 다양한 NLP 작업에서 효과를 보여주었습니다. 지금까지 인코더-디코더 아키텍처를 기반으로 구축된 LLM은 몇 개에 불과합니다(_예: Flan-T5 [69]). 아키텍처 선택에 대한 자세한 논의는 섹션 4.2.6에서 남겨두겠습니다.
**인코더-디코더 아키텍처.** 바닐라 트랜스포머 모델은 인코더와 디코더로 각각 트랜스포머 블록의 두 스택으로 구성된 인코더-디코더 아키텍처[22]를 기반으로 구축됩니다. 인코더는 적층된 다중 헤드 자가 주의 계층을 채택하여 잠재 표현을 생성하기 위해 입력 시퀀스를 인코딩하는 반면, 디코더는 이러한 표현에 대해 교차 주의를 수행하고 자동 회귀적으로 대상 시퀀스를 생성합니다. 인코더-디코더 PLM(_예: T5 [82] 및 BART [24])은 다양한 NLP 작업에서 효과를 보여주었습니다. 지금까지 인코더-디코더 아키텍처를 기반으로 구축된 LLM은 몇 개에 불과합니다(_예: Flan-T5 [69]). 아키텍처 선택에 대한 자세한 논의는 섹션 4.2.6에서 남겨두겠습니다.