**RWKV:** In [141], Peng et al. proposed a novel model architecture, Recceptance Weighted Key Value (RWKV), that combines the efficient parallelizable training of Transformers with the efficient inference of RNNs. Their approach leverages a linear attention mechanism and allows them to formulate the model as either a Transformer or an RNN, which parallelizes computations during training and maintains constant computational and memory complexity during inference, leading to the first non-transformer architecture to be scaled to tens of billions of parameters. RWKV architecture is shown in Fig 32.
**RWKV:** [141]에서 Peng 등은 Transformer의 효율적인 병렬화 훈련과 RNN의 효율적인 추론을 결합한 새로운 모델 아키텍처인 Recceptance Weighted Key Value (RWKV)를 제안했습니다. 이 접근 방식은 linear attention 메커니즘을 활용하여 모델을 Transformer 또는 RNN으로 공식화할 수 있으며, 이는 훈련 중에 계산을 병렬화하고 추론 중에 계산 및 메모리 복잡성을 일정하게 유지하여 수십억 개의 파라미터로 확장할 수 있는 최초의 비-Transformer 아키텍처로 이어집니다. RWKV 아키텍처는 그림 32에 나와 있습니다.
**RWKV:** [141]에서 Peng 등은 트랜스포머의 효율적인 병렬화 훈련과 RNN의 효율적인 추론을 결합한 새로운 모델 아키텍처인 수용 가중치 키 값(RWKV)을 제안했습니다. 이 접근 방식은 선형 주의 메커니즘을 활용하여 모델을 트랜스포머 또는 RNN으로 공식화할 수 있으며, 이는 훈련 중에 계산을 병렬화하고 추론 중에 계산 및 메모리 복잡성을 일정하게 유지하여 수십억 개의 파라미터로 확장할 수 있는 최초의 비 트랜스포머 아키텍처로 이어집니다. RWKV 아키텍처는 그림 32에 나와 있습니다.