Fig. 33: Time Complexity comparison of RWKV with different Transformers. Here T denotes the sequence length, d the feature dimension, and c is MEGA’s chunk size of quadratic attention. Courtesy of [141].
그림 33: 다양한 Transformer와 RWKV의 시간 복잡도 비교. 여기서 T는 시퀀스 길이, d는 특징 차원, c는 MEGA의 2차 attention 청크 크기입니다. [141]의 덕분입니다.
그림 33: 다양한 트랜스포머와 RWKV의 시간 복잡도 비교. 여기서 T는 시퀀스 길이, d는 특징 차원, c는 MEGA의 2차 관심도 청크 크기입니다. [141]의 덕분입니다.