Given these distinctions, for LLaMA models, we use the notation LLaMA-\(\ell\)-\(h\) for \(\ell\) layers, \(h\) heads, and \(64h\) hidden dimensions; we omit group-query attention as LLaMA recommends it only for its 70B model. For Mistral, denoted as Mistral-\(\ell\)-\(h\), we enable group-query attention with 4 groups if \(h=0\pmod{4}\), 1 group for odd \(h\), or 2 groups otherwise.
이러한 차이점을 고려하여 LLaMA 모델의 경우, \(\ell\) 레이어, \(h\) 헤드, 64h 숨겨진 차원에 대해 LLaMA-\(\ell\)-\(h\)라는 표기법을 사용하며, LLaMA에서 70B 모델에만 권장하므로 group-query attention을 생략합니다. Mistral의 경우, Mistral-\(\ell\)-\(h\)로 표시되며, group-query attention을 4개 그룹으로 설정하고 \(h=0\pmod{4}\), 홀수 \(h\)의 경우 1개 그룹, 그 외의 경우 2개 그룹으로 설정합니다.
이러한 차이점을 고려하여 LLaMA 모델의 경우, \(\ell\) 레이어, \(h\) 헤드, 64h 숨겨진 차원에 대해 LLaMA-\(\ell\)-\(h\)라는 표기법을 사용하며, LLaMA에서 70B 모델에만 권장하므로 그룹 쿼리 주의를 생략합니다. Mistral의 경우, Mistral-\(\ell\)-\(h\)로 표시되며, 그룹 쿼리 주의를 4개 그룹으로 설정하고 \(h=0\pmod{4}\), 홀수 \(h\)의 경우 1개 그룹, 그 외의 경우 2개 그룹으로 설정합니다.