A single head in the vanilla MHA computes its attention context \(A_{dot}\in\mathbb{R}^{N\times d_{value}}\) from sequence of input segments \(X\in\mathbb{R}^{N\times d_{model}}\) as follows.
바닐라 MHA의 단일 헤드는 입력 시퀀스 \(X\in\mathbb{R}^{N\times d_{model}}\)로부터 주의 컨텍스트 \(A_{dot}\in\mathbb{R}^{N\times d_{value}}\)를 다음과 같이 계산합니다.
바닐라 MHA의 단일 헤드는 다음과 같이 입력 세그먼트 시퀀스 \(X\in\mathbb{R}^{N\times d_{model}}\)로부터 주의 컨텍스트 \(A_{dot}\in\mathbb{R}^{N\times d_{value}}\)를 계산한다.