Transformer(Vaswani et al., 2017) is an "encoder-decoder" architecture, which consists of encoders and decoders superimposed on multi-head self-attention modules. Among them, the input sequence is divided into two parts, the source sequence and the destination sequence. The former is input to the encoder and the latter is input to the decoder, and both sequences need to embed representation and add position information. The Transformer architecture enables parallel computation and the processing of entire text sequences simultaneously, resulting in a significant increase in model training and inference speed.
Transformer(Vaswani et al., 2017)는 multi-head self-attention 모듈에 Encoder와 Decoder가 중첩된 'Encoder-Decoder' 아키텍처이다. 이 중 입력 시퀀스는 소스 시퀀스와 목적지 시퀀스 두 부분으로 나뉘는데, 전자는 Encoder에, 후자는 Decoder에 입력되며, 두 시퀀스 모두 표현을 임베드하고 위치 정보를 추가해야 한다. Transformer 아키텍처는 병렬 연산이 가능하고 전체 텍스트 시퀀스를 동시에 처리할 수 있게 함으로써 모델 학습 및 추론 속도가 크게 증가하였다.
Transformer(Vaswani et al., 2017)는 다중 머리 자기 주의(multi-head self-attention) 모듈에 인코더와 디코더가 중첩된 '인코더-디코더' 아키텍처이다. 이 중 입력 시퀀스는 소스 시퀀스와 목적지 시퀀스 두 부분으로 나뉘는데, 전자는 인코더에, 후자는 디코더에 입력되며, 두 시퀀스 모두 표현을 임베드하고 위치 정보를 추가해야 한다. Transformer 아키텍처는 병렬 연산이 가능하고 전체 텍스트 시퀀스를 동시에 처리할 수 있게 함으로써 모델 학습 및 추론 속도가 크게 증가하였다.