For MHA, we compute \(H\) number of attention context vectors for each sequence element in parallel, concatenate them along the second dimension and then finally project the concatenated vector to the model space to obtain attention the output.
MHA의 경우, 각 시퀀스 요소에 대해 \(H\) 개의 attention 컨텍스트 벡터를 병렬로 계산하고, 이를 2차원을 따라 연결한 다음, 최종적으로 연결된 벡터를 모델 공간에 투영하여 attention 산출물을 얻는다.
MHA의 경우, 각 시퀀스 요소에 대해 \(H\) 개의 주의 컨텍스트 벡터를 병렬로 계산하고, 이를 2차원을 따라 연결한 다음, 최종적으로 연결된 벡터를 모델 공간에 투영하여 주의 산출물을 얻는다.