Transformer blocks have been a crucial and constant part of most of current LLM frameworks, and it's a big question mark how much longer this architecture will be in vogue, and what will be the next big architectural break-through in the field of deep learning (and NLP). Since AlexNet in 2012, we have seen many architectures go in and out of fashion, including LSTM, GRU, seq2seq, but Transformers have been the dominant approach since its inception. As described earlier, attention is the main mechanism driving transformers. More recently, there has been promising research in alternative approaches that are being labelled as post-attention.
Transformer blocks는 현재 대부분의 LLM 프레임워크에서 중요하고 지속적인 부분이었으며, 이 architecture가 얼마나 오래 유행할지, 딥러닝(및 NLP) 분야에서 다음 큰 architectural break-through는 무엇일지에 대한 큰 물음이 남아 있습니다. 2012년 AlexNet 이후 LSTM, GRU, seq2seq 등 많은 architecture가 유행을 탔다가 사라졌지만, Transformers는 등장 이래 지배적인 접근 방식이었습니다. 앞서 설명한 바와 같이 attention은 Transformers를 구동하는 주요 메커니즘입니다. 최근에는 post-attention으로 분류되는 대체 접근 방식에 대한 유망한 연구가 진행되고 있습니다.
트랜스포머 블록은 현재 대부분의 LLM 프레임워크에서 중요하고 지속적인 부분이었으며, 이 아키텍처가 얼마나 오래 유행할지, 딥러닝(및 NLP) 분야에서 다음 큰 아키텍처의 돌파구는 무엇일지에 대한 큰 물음이 남아 있습니다. 2012년 AlexNet 이후 LSTM, GRU, seq2seq 등 많은 아키텍처가 유행을 탔다가 사라졌지만, 트랜스포머는 등장 이래 지배적인 접근 방식이었습니다. 앞서 설명한 바와 같이 주의는 트랜스포머를 구동하는 주요 메커니즘입니다. 최근에는 포스트 어텐션으로 분류되는 대체 접근 방식에 대한 유망한 연구가 진행되고 있습니다.