\(\bullet\)_Sparse attention_. A crucial challenge of full attention is the quadratic computational complexity, which becomes a burden when dealing with long sequences. Therefore, various efficient Transformer variants are proposed to reduce the computational complexity of the attention mechanism [278, 279]. For instance, locally banded sparse attention (_i.e._, Factorized Attention [280] has been adopted in GPT-3 [55]. Instead of the whole sequence, each query can only attend to a subset of tokens based on the positions.
\(\bullet\)_Sparse attention_. 전체 attention의 중요한 과제는 이차적인 계산 복잡성으로, 긴 시퀀스를 다룰 때 부담이 되는 것입니다. 따라서 attention 메커니즘의 계산 복잡성을 줄이기 위해 다양한 효율적인 Transformer 변형이 제안되었습니다[278, 279]. 예를 들어, locally banded sparse attention(_즉, Factorized Attention[280]은 GPT-3[55]에서 채택되었습니다. 전체 시퀀스 대신 각 query는 위치에 따라 토큰의 하위 집합에만 주의를 기울일 수 있습니다.
\(\bullet\)_스파스 어텐션_. 전체 주의의 중요한 과제는 이차적인 계산 복잡성으로, 긴 시퀀스를 다룰 때 부담이 되는 것입니다. 따라서 주의 메커니즘의 계산 복잡성을 줄이기 위해 다양한 효율적인 트랜스포머 변형이 제안되었습니다[278, 279]. 예를 들어, 로컬 밴드 스파스 어텐션(_즉, 인수분해 어텐션[280]은 GPT-3[55]에서 채택되었습니다. 전체 시퀀스 대신 각 쿼리는 위치에 따라 토큰의 하위 집합에만 주의를 기울일 수 있습니다.