**Prefix Decoder Architecture.** The prefix decoder architecture (_a.k.a._, non-causal decoder [244]) revises the masking mechanism of causal decoders, to enable performing bidirectional attention over the prefix tokens [245] and unidirectional attention only on generated tokens. In this way, like the encoder-decoder architecture, the prefix decoders can bidirectionally encode the prefix sequence and autoregressively predict the output tokens one by one, where the same parameters are shared during encoding and decoding. Instead of pre-training from scratch, a practical suggestion is to continually train causal decoders and then convert them into prefix decoders for accelerating convergence [29], _e.g.,_ U-PaLM [118] is derived from PaLM [56]. Existing representative LLMs based on prefix decoders include GLM-130B [93] and U-PaLM [118].
**접두사 Decoder 아키텍처.** 접두사 Decoder 아키텍처(_a.k.a._, 비인과적 Decoder [244])는 접두사 토큰[245]에 대해 양방향 Attention을 수행하고 생성된 토큰에 대해서만 단방향 Attention을 수행할 수 있도록 인과적 Decoder의 마스킹 메커니즘을 수정합니다. 이러한 방식으로 Encoder-Decoder 아키텍처와 마찬가지로 접두사 Decoders는 접두사 시퀀스를 양방향으로 인코딩하고 출력 토큰을 하나씩 자동 회귀적으로 예측할 수 있으며, 인코딩과 디코딩 중에 동일한 파라미터가 공유됩니다. 처음부터 사전 학습하는 대신, 실용적인 제안은 인과적 Decoders를 지속적으로 학습시킨 다음 수렴 속도를 높이기 위해 접두사 Decoders로 변환하는 것입니다[29], _예를 들어_ U-PaLM [118]은 PaLM [56]에서 파생되었습니다. 접두사 Decoders를 기반으로 하는 기존 대표적인 LLM에는 GLM-130B [93] 및 U-PaLM [118]이 있습니다.
**접두사 디코더 아키텍처.** 접두사 디코더 아키텍처(_a.k.a._, 비인과적 디코더 [244])는 접두사 토큰[245]에 대해 양방향 주의를 수행하고 생성된 토큰에 대해서만 단방향 주의를 수행할 수 있도록 인과적 디코더의 마스킹 메커니즘을 수정합니다. 이러한 방식으로 인코더-디코더 아키텍처와 마찬가지로 접두사 디코더는 접두사 시퀀스를 양방향으로 인코딩하고 출력 토큰을 하나씩 자동 회귀적으로 예측할 수 있으며, 인코딩과 디코딩 중에 동일한 파라미터가 공유됩니다. 처음부터 사전 학습하는 대신, 실용적인 제안은 인과적 디코더를 지속적으로 학습시킨 다음 수렴 속도를 높이기 위해 접두사 디코더로 변환하는 것입니다[29], _예를 들어_ U-PaLM [118]은 PaLM [56]에서 파생되었습니다. 접두사 디코더를 기반으로 하는 기존 대표적인 LLM에는 GLM-130B [93] 및 U-PaLM [118]이 있습니다.