\(\bullet\)_Rotary Position Embedding._ Rotary position embedding (RoPE) [263] sets specific rotatory matrices based on the absolute position of each key or query. The scores between keys and queries can be computed with relative position information (Table VI). RoPE combines each consecutive pair of elements in query and key vectors as _a dimension_, so there are \(d/2\) dimensions for an original \(d\)-length embedding. For each dimension \(i\in\{1,\ldots,d/2\}\), the pair of involved elements will rotate based on the rotation angle \(t\cdot\theta_{i}\), where \(t\) denotes the position index and \(\theta_{i}\) is the basis in the dimension.
\(\bullet\)_Rotary Position Embedding._ Rotary position embedding (RoPE) [263]은 각 key 또는 query의 절대 위치에 따라 특정 회전 행렬을 설정합니다. key와 query 사이의 점수는 상대적 위치 정보(표 VI)로 계산할 수 있습니다. RoPE는 query 및 key 벡터에서 연속된 각 요소 쌍을 _차원_으로 결합하므로 원래 \(d\)-길이 embedding에 대해 \(d/2\) 차원이 있습니다. 각 차원 \(i\in\{1,\ldots,d/2\}\)의 경우, 관련된 요소 쌍은 회전 각도 \(t\cdot\theta_{i}\)를 기준으로 회전하며, 여기서 \(t\)는 위치 인덱스를 나타내고 \(\theta_{i}\)는 차원의 기저입니다.
\(\bullet\)_회전 위치 임베딩._ 회전 위치 임베딩(RoPE) [263]은 각 키 또는 쿼리의 절대 위치에 따라 특정 회전 행렬을 설정합니다. 키와 쿼리 사이의 점수는 상대적 위치 정보(표 VI)로 계산할 수 있습니다. RoPE는 쿼리 및 키 벡터에서 연속된 각 요소 쌍을 _차원_으로 결합하므로 원래 \(d\)-길이 임베딩에 대해 \(d/2\) 차원이 있습니다. 각 차원 \(i\in\{1,\ldots,d/2\}\)의 경우, 관련된 요소 쌍은 회전 각도 \(t\cdot\theta_{i}\)를 기준으로 회전하며, 여기서 \(t\)는 위치 인덱스를 나타내고 \(\theta_{i}\)는 차원의 기저입니다.