Activation FunctionWe use SwiGLU [68] as Yi's post-attention layer, reducing its activation size from \(4h\) to \(8/3h\) (\(h\) denotes hidden size) to be consistent with the normal post-attention layer. This adjustment also compensates for the reduction in parameter resulted from GQA, making the overall parameter count compatible of existing 7B and 34B models.
활성화 함수. Yi의 post-attention layer로 SwiGLU [68]를 사용하여 활성화 크기를 기존 post-attention layer와 일치하도록 \(4h\)에서 \(8/3h\)(여기서 \(h\)는 hidden size를 나타냄)로 줄입니다. 이 조정은 또한 GQA로 인한 매개변수 감소를 보완하여 전체 매개변수 수를 기존 7B 및 34B 모델과 호환할 수 있도록 합니다.
활성화 기능Yi의 포스트 어텐션 레이어로 SwiGLU [68]를 사용하여 활성화 크기를 기존 포스트 어텐션 레이어와 일치하도록 \(4h\)에서 \(8/3h\)(여기서 \(h\)는 숨겨진 크기를 나타냄)로 줄입니다. 이 조정은 또한 GQA로 인한 매개변수 감소를 보완하여 전체 매개변수 수를 기존 7B 및 34B 모델과 호환할 수 있도록 합니다.