**Causal Decoder Architecture.** The causal decoder architecture incorporates the unidirectional attention mask, to guarantee that each input token can only attend to the past tokens and itself. The input and output tokens are processed in the same fashion through the decoder. As representative language models of this architecture, the GPT-series models [26, 55, 122] are developed based on the causal-decoder architecture. In particular, GPT-3 [55] has successfully demonstrated the effectiveness of this architecture, also showing an amazing in-context learning capability of LLMs. Interestingly, GPT-1 [122] and GPT-2 [26] do not exhibit such superior abilities as those in GPT-3, and it seems that scaling plays an important role in increasing the model capacity of this model architecture. So far, the causal decoders have been widely adopted as the architecture of LLMs by various existing LLMs, such as OPT [90], BLOOM [78], and Gopher [64].
**인과적 Decoder 아키텍처.** 인과적 Decoder 아키텍처는 단방향 attention 마스크를 통합하여 각 입력 토큰이 과거 토큰과 자신에게만 주의를 기울일 수 있도록 보장합니다. 입력 토큰과 출력 토큰은 Decoder를 통해 동일한 방식으로 처리됩니다. 이 아키텍처의 대표적인 언어 모델로는 GPT 시리즈 모델[26, 55, 122]이 인과적 Decoder 아키텍처를 기반으로 개발되었습니다. 특히 GPT-3 [55]는 이 아키텍처의 효과를 성공적으로 입증했으며, LLM의 놀라운 In-Context Learning 기능도 보여주었습니다. 흥미롭게도 GPT-1 [122]과 GPT-2 [26]는 GPT-3만큼의 우수한 능력을 보여주지 않으며, 모델 규모가 이 모델 아키텍처의 모델 용량을 높이는 데 중요한 역할을 하는 것으로 보입니다. 지금까지 인과적 Decoders는 OPT [90], BLOOM [78], Gopher [64]와 같은 다양한 기존 LLM에 의해 LLM의 아키텍처로 널리 채택되었습니다.
**인과적 디코더 아키텍처.** 인과적 디코더 아키텍처는 단방향 주의 마스크를 통합하여 각 입력 토큰이 과거 토큰과 자신에게만 주의를 기울일 수 있도록 보장합니다. 입력 토큰과 출력 토큰은 디코더를 통해 동일한 방식으로 처리됩니다. 이 아키텍처의 대표적인 언어 모델로는 GPT 시리즈 모델[26, 55, 122]이 인과적 디코더 아키텍처를 기반으로 개발되었습니다. 특히 GPT-3 [55]는 이 아키텍처의 효과를 성공적으로 입증했으며, LLM의 놀라운 컨텍스트 내 학습 기능도 보여주었습니다. 흥미롭게도 GPT-1 [122]과 GPT-2 [26]는 GPT-3만큼의 우수한 능력을 보여주지 않으며, 모델 규모가 이 모델 아키텍처의 모델 용량을 높이는 데 중요한 역할을 하는 것으로 보입니다. 지금까지 인과적 디코더는 OPT [90], BLOOM [78], Gopher [64]와 같은 다양한 기존 LLM에 의해 LLM의 아키텍처로 널리 채택되었습니다.