(APE) [44] has been used in the original Transformer model to preserve the information of sequence order. Therefore, the positional information of words is added to the input embeddings at the bottom of both the encoder and decoder stacks. There are various options for positional encodings, either learned or fixed. In the vanilla Transformer, sine and cosine functions are employed for this purpose. The main drawback of using APE in Transformers is the restriction to a certain number of tokens. Additionally, APE fails to account for the relative distances between tokens.
(APE) [44]는 시퀀스 순서의 정보를 보존하기 위해 원래 Transformer 모델에서 사용되었습니다. 따라서 Encoder와 Decoder 스택 모두의 하단에 입력 embeddings에 단어의 위치 정보가 추가됩니다. 위치 encodings에는 학습 또는 고정된 다양한 옵션이 있습니다. 일반 Transformer에서는 sine 및 cosine 함수가 이러한 목적으로 사용됩니다. Transformer에서 APE를 사용할 때의 주요 단점은 특정 토큰 수로 제한된다는 것입니다. 또한 APE는 토큰 간의 상대적 거리를 설명하지 못합니다.
(APE) [44]는 시퀀스 순서의 정보를 보존하기 위해 원래 트랜스포머 모델에서 사용되었습니다. 따라서 인코더와 디코더 스택 모두의 하단에 입력 임베딩에 단어의 위치 정보가 추가됩니다. 위치 인코딩에는 학습 또는 고정된 다양한 옵션이 있습니다. 일반 트랜스포머에서는 사인 및 코사인 함수가 이러한 목적으로 사용됩니다. 트랜스포머에서 APE를 사용할 때의 주요 단점은 특정 토큰 수로 제한된다는 것입니다. 또한 APE는 토큰 간의 상대적 거리를 설명하지 못합니다.