Due to the excellent parallelizability and capacity, the Transformer architecture [22] has become the de facto backbone to develop various LLMs, making it possible to scale language models to hundreds or thousands of billions of parameters. In general, the mainstream architectures of existing LLMs can be roughly categorized into three major types, namely encoder-decoder, causal decoder, and prefix decoder, as shown in Figure 9.
뛰어난 병렬화 가능성과 용량 덕분에 Transformer 아키텍처 [22]는 다양한 LLMs을 개발하는 데 사실상 기본이 되어 언어 모델을 수백 또는 수천 억 개의 파라미터로 확장할 수 있게 되었습니다. 일반적으로 기존 LLMs의 주류 아키텍처는 Encoder-Decoder, Causal Decoder, Prefix Decoder 등 크게 세 가지 유형으로 분류할 수 있습니다(그림 9 참조).
뛰어난 병렬화 가능성과 용량 덕분에 Transformer 아키텍처 [22]는 다양한 LLM을 개발하는 데 사실상 기본이 되어 언어 모델을 수백 또는 수천 억 개의 파라미터로 확장할 수 있게 되었습니다. 일반적으로 기존 LLM의 주류 아키텍처는 인코더-디코더, 인과적 디코더, 접두사 디코더 등 크게 세 가지 유형으로 분류할 수 있습니다(그림 9 참조).