The model architecture is similar to LLaMA [44] with two differences: we use grouped-query attention [1] to replace the multi-query attention and we apply rotary position embedding on half the dimensions of the query and key vectors.
모델 아키텍처는 LLaMA [44]와 유사하지만 두 가지 차이점이 있다: 다중 쿼리 attention을 대체하기 위해 grouped-query attention을 사용하고 쿼리 및 키 벡터의 절반 차원에 rotary position embedding을 적용한다.
모델 아키텍처는 LLaMA [44]와 유사하지만 두 가지 차이점이 있다: 다중 쿼리 주의를 대체하기 위해 그룹화된 쿼리 주의를 사용하고 쿼리 및 키 벡터의 절반 차원에 회전 위치 임베딩을 적용한다.