The multi-head scaled dot-product attention (Vaswani et al., 2017), specially its self-attention variant (Munkhdalai et al., 2016; Cheng et al., 2016), has been the main building block in LLMs. The MHA's strong capability to model context-dependent dynamic computation and its conveniences of temporal masking have been leveraged extensively in the autoregressive generative models.
다중 헤드 스케일링된 dot-product attention (Vaswani et al., 2017), 특히 self-attention 변형(Munkhdalai et al., 2016; Cheng et al., 2016)은 LLM의 주요 구성 요소였습니다. 문맥에 따라 동적 계산을 모델링하는 MHA의 강력한 기능과 시간적 마스킹의 편리함은 autoregressive generative 모델에서 광범위하게 활용되었습니다.
다중 헤드 스케일링된 도트-제품 관심도(Vaswani et al., 2017), 특히 자기 관심도 변형(Munkhdalai et al., 2016; Cheng et al., 2016)은 LLM의 주요 구성 요소였습니다. 문맥에 따라 동적 계산을 모델링하는 MHA의 강력한 기능과 시간적 마스킹의 편리함은 자동 회귀 생성 모델에서 광범위하게 활용되었습니다.