Attention MechanismLLaMA 2 uses Grouped-Query Attention(GQA) [1] only on its largest 70B model, and its 7B and 13B uses full attention. We incorporate GQA in both Yi-6B and Yi-34B. GQA splits query-heads into G groups, sharing a single key and value head within each group of query [1]. This approach offers substantial reductions of training and inference costs, compared to the original Multi-Head Attention (MHA) [16; 57; 67]. We do not observe performance degradation after applying GQA to our 6B smaller model.
주의 메커니즘LLaMA 2는 가장 큰 70B 모델에만 Grouped-Query Attention(GQA) [1]을 사용하며, 7B 및 13B 모델에는 full attention을 사용합니다. Yi-6B와 Yi-34B 모두에 GQA를 통합했습니다. GQA는 query-heads를 G 그룹으로 분할하여 각 query 그룹 내에서 단일 key 및 value head를 공유합니다[1]. 이 접근 방식은 원래의 Multi-Head Attention(MHA) [16; 57; 67]에 비해 훈련 및 추론 비용을 크게 줄여줍니다. 6B 소형 모델에 GQA를 적용한 후에도 성능 저하를 관찰하지 못했습니다.
주의 메커니즘LLaMA 2는 가장 큰 700억 모델에만 그룹화된 쿼리 어텐션(GQA) [1]을 사용하며, 70억 및 130억 모델에는 전체 어텐션을 사용합니다. Yi-6B와 Yi-34B 모두에 GQA를 통합했습니다. GQA는 쿼리 헤드를 G 그룹으로 분할하여 각 쿼리 그룹 내에서 단일 키 및 값 헤드를 공유합니다[1]. 이 접근 방식은 원래의 다중 헤드 어텐션(MHA) [16; 57; 67]에 비해 훈련 및 추론 비용을 크게 줄여줍니다. 6B 소형 모델에 GQA를 적용한 후에도 성능 저하를 관찰하지 못했습니다.