\(\bullet\)_Full attention_. In the vanilla Transformer [22], the attention mechanism is conducted in a pairwise way, considering the relations between all token pairs in a sequence. It adopts scaled dot-product attention, in which the hidden states are mapped into queries, keys, and values. Additionally, Transformer uses multi-head attention instead of single attention, projecting the queries, keys, and values with different projections in different heads. The concatenation of the output of each head is taken as the final output.
\(\bullet\)_Full attention_. 바닐라 Transformer [22]에서 attention 메커니즘은 시퀀스의 모든 토큰 쌍 간의 관계를 고려하여 쌍방향으로 수행됩니다. 숨겨진 상태는 쿼리, 키, 값으로 매핑되는 scaled dot-product attention을 채택합니다. 또한 Transformer는 단일 attention 대신 multi-head attention을 사용하여 서로 다른 헤드에서 쿼리, 키, 값을 다른 projections으로 투영합니다. 각 헤드의 출력을 연결한 것이 최종 출력으로 사용됩니다.
\(\bullet\)_전체 주의_. 바닐라 트랜스포머 [22]에서 주의 메커니즘은 시퀀스의 모든 토큰 쌍 간의 관계를 고려하여 쌍방향으로 수행됩니다. 숨겨진 상태는 쿼리, 키, 값으로 매핑되는 스케일 점수 곱셈 주의를 채택합니다. 또한 트랜스포머는 단일 주의 대신 다중 헤드 주의를 사용하여 서로 다른 헤드에서 쿼리, 키, 값을 다른 투영으로 투영합니다. 각 헤드의 출력을 연결한 것이 최종 출력으로 사용됩니다.