**Architecture Choice.** In earlier literature of pre-trained language models, there are lots of discussions on the effects of different architectures [89, 29]. However, most LLMs are developed based on the causal decoder architecture, and there still lacks a theoretical analysis on its advantage over the other alternatives. Next, we briefly summarize existing discussions on this issue.
**Architecture Choice.** 사전 학습된 언어 모델의 초기 문헌에는 다양한 아키텍처의 효과에 대한 많은 논의가 있습니다[89, 29]. 그러나 대부분의 LLMs은 인과적 Decoder 아키텍처를 기반으로 개발되었으며, 다른 대안에 대한 이점에 대한 이론적 분석이 여전히 부족합니다. 다음에서는 이 문제에 대한 기존 논의를 간략하게 요약합니다.
**아키텍처 선택**. 사전 학습된 언어 모델의 초기 문헌에는 다양한 아키텍처의 효과에 대한 많은 논의가 있습니다[89, 29]. 그러나 대부분의 LLM은 인과적 디코더 아키텍처를 기반으로 개발되었으며, 다른 대안에 대한 이점에 대한 이론적 분석이 여전히 부족합니다. 다음에서는 이 문제에 대한 기존 논의를 간략하게 요약합니다.