**Group Query Attention.** We train MiniCPM-2.4B without modification on the attention layer. Whereas we apply Group Query Attention (Ainslie et al., 2023) to MiniCPM-1.2B, inspired by Liu et al. (2024), to futher reduce the parameters number.
**Group Query Attention**. 주의 계층에 수정 없이 MiniCPM-2.4B를 훈련합니다. 반면, Liu et al. (2024)에서 영감을 받아 MiniCPM-1.2B에 Group Query Attention (Ainslie et al., 2023)를 적용하여 파라미터 수를 더욱 줄였습니다.
**그룹 쿼리 주의**. 주의 계층에 수정 없이 MiniCPM-2.4B를 훈련합니다. 반면, Liu et al. (2024)에서 영감을 받아 MiniCPM-1.2B에 그룹 쿼리 주의(Ainslie et al., 2023)를 적용하여 파라미터 수를 더욱 줄였습니다.