**Emergent Architectures.** The conventional Transformer architectures typically suffer from quadratic computational complexity. Because of this, efficiency has become an important issue when training and making inference with long inputs. To improve efficiency, some studies aim to devise new architectures for language modeling, including parameterized state space models (_e.g.,_ S4 [247], GSS [248], and H3 [249]), long convolutions like Hyea [250], and Transformer-like architectures that incorporate recursive update mechanisms (_e.g.,_ RWKV [251] and RetNet [252]). The key merits of these new architectures are twofold. First, these models can generate outputs recursively like RNNs, meaning that they only need to refer to the single previous state during decoding. It makes the decoding process more efficient as it eliminates the need to revisit all previous states as in conventional Transformers. Second, these models have the capacity to encode an entire sentence in parallel like Transformers. This contrasts with conventional RNNs which has to encode sentences on a token-by-token basis. Thus, they can benefit from the parallelism of GPUs with techniques such as Parallel Scan [253, 254], FFT [250, 251], and Chunkwise Recurrent [252]. These techniques enable models with these new architectures to be trained in a highly parallel and efficient manner.
**Emergent Architectures.** 기존의 Transformer 아키텍처는 일반적으로 이차적인 계산 복잡성을 겪습니다. 이 때문에 긴 입력으로 훈련하고 추론할 때 효율성이 중요한 문제가 되었습니다. 효율성을 개선하기 위해 일부 연구에서는 파라미터화된 상태 공간 모델(_예:_, S4 [247], GSS [248], H3 [249]), Hyea [250]와 같은 긴 컨볼루션, 재귀적 업데이트 메커니즘을 통합한 Transformer 유사 아키텍처(_예:_, RWKV [251], RetNet [252]) 등 언어 모델링을 위한 새로운 아키텍처를 고안하는 것을 목표로 합니다. 이러한 새로운 아키텍처의 주요 장점은 두 가지입니다. 첫째, 이러한 모델은 RNN처럼 재귀적으로 출력을 생성할 수 있으므로 디코딩 중에 이전 상태 하나만 참조하면 됩니다. 따라서 기존 Transformer처럼 이전 상태를 모두 다시 방문할 필요가 없으므로 디코딩 과정이 더 효율적입니다. 둘째, 이러한 모델은 Transformer처럼 문장 전체를 병렬로 인코딩할 수 있습니다. 이는 토큰 단위로 문장을 인코딩해야 하는 기존 RNN과 대조적입니다. 따라서 Parallel Scan [253, 254], FFT [250, 251], Chunkwise Recurrent [252]와 같은 기술을 통해 GPU의 병렬 처리를 활용할 수 있습니다. 이러한 기술을 통해 이러한 새로운 아키텍처를 가진 모델을 매우 병렬적이고 효율적인 방식으로 훈련할 수 있습니다.
**이머전트 아키텍처.** 기존의 트랜스포머 아키텍처는 일반적으로 이차적인 계산 복잡성을 겪습니다. 이 때문에 긴 입력으로 훈련하고 추론할 때 효율성이 중요한 문제가 되었습니다. 효율성을 개선하기 위해 일부 연구에서는 파라미터화된 상태 공간 모델(_예:_, S4 [247], GSS [248], H3 [249]), Hyea [250]와 같은 긴 컨볼루션, 재귀적 업데이트 메커니즘을 통합한 트랜스포머 유사 아키텍처(_예:_, RWKV [251], RetNet [252]) 등 언어 모델링을 위한 새로운 아키텍처를 고안하는 것을 목표로 합니다. 이러한 새로운 아키텍처의 주요 장점은 두 가지입니다. 첫째, 이러한 모델은 RNN처럼 재귀적으로 출력을 생성할 수 있으므로 디코딩 중에 이전 상태 하나만 참조하면 됩니다. 따라서 기존 트랜스포머처럼 이전 상태를 모두 다시 방문할 필요가 없으므로 디코딩 과정이 더 효율적입니다. 둘째, 이러한 모델은 트랜스포머처럼 문장 전체를 병렬로 인코딩할 수 있습니다. 이는 토큰 단위로 문장을 인코딩해야 하는 기존 RNN과 대조적입니다. 따라서 병렬 스캔 [253, 254], FFT [250, 251], 청크 와이즈 리커런트 [252]와 같은 기술을 통해 GPU의 병렬 처리를 활용할 수 있습니다. 이러한 기술을 통해 이러한 새로운 아키텍처를 가진 모델을 매우 병렬적이고 효율적인 방식으로 훈련할 수 있습니다.