\(\bullet\)_Multi-query/grouped-query attention_. Multi-query attention refers to the attention variant where different heads share the same linear transformation matrices on the keys and values [281]. It achieves higher inference speed with only a minor sacrifice in model quality. Representative models with multi-query attention include PaLM [56] and StarCoder [98]. To make a trade-off between multi-query attention and multi-head attention, grouped-query attention (GQA) [282] has been explored. In GQA, heads are assigned into different groups, and those heads that belong to the same group will share the same transformation matrices. Specially, GQA has been adopted and empirically tested in the recently released LLaMA 2 model [99].
\(\bullet\)_Multi-query/grouped-query attention_. Multi-query attention은 서로 다른 헤드가 키와 값에 동일한 linear transformation matrices를 공유하는 attention의 변형을 말합니다[281]. 모델 품질의 약간의 희생만 면하면 더 높은 추론 속도를 달성할 수 있습니다. Multi-query attention을 사용하는 대표적인 모델로는 PaLM [56]과 StarCoder [98]가 있습니다. Multi-query attention과 multi-head attention 사이의 절충점을 찾기 위해 grouped-query attention (GQA) [282]가 연구되었습니다. GQA에서는 헤드가 다른 그룹에 할당되며, 같은 그룹에 속하는 헤드는 동일한 transformation matrices를 공유합니다. 특히, GQA는 최근에 공개된 LLaMA 2 모델 [99]에서 채택되어 경험적으로 테스트되었습니다.
\(\bullet\)_멀티 쿼리/그룹화된 쿼리 주의_. 멀티 쿼리 주의는 서로 다른 헤드가 키와 값에 동일한 선형 변환 행렬을 공유하는 주의의 변형을 말합니다[281]. 모델 품질의 약간의 희생만 면하면 더 높은 추론 속도를 달성할 수 있습니다. 멀티 쿼리 주의를 사용하는 대표적인 모델로는 PaLM [56]과 StarCoder [98]가 있습니다. 멀티 쿼리 주의와 멀티 헤드 주의 사이의 절충점을 찾기 위해 그룹화된 쿼리 주의(GQA) [282]가 연구되었습니다. GQA에서는 헤드가 다른 그룹에 할당되며, 같은 그룹에 속하는 헤드는 동일한 변환 행렬을 공유합니다. 특히, GQA는 최근에 공개된 LLaMA 2 모델 [99]에서 채택되어 경험적으로 테스트되었습니다.