1. We merge the final LayerNorm weights \(\gamma\) into \(\mathbf{W}\) by linearity.3 Footnote 3: For a full explanation of this method of rewriting the unembedding matrix, see Appendix A.1, ‘Folding LayerNorm’ in Gurnee et al. (2024). 2. We assume the numerical precision is high enough that after the final LayerNorm, the hidden states are on a sphere. 3. There is no degenerate lower-dimensional subspace containing all \(g_{\theta}(p)\) for all our queries \(p\). 4. We assume the \(\varepsilon\) in RMSNorm/LayerNorm is \(0\). This is not a critical assumption.
1. 선형성에 의해 최종 LayerNorm 가중치(\(\gamma\))를 \(\mathbf{W}\)에 병합합니다.3 각주 3: 언엠베딩 행렬을 다시 작성하는 이 방법에 대한 자세한 설명은 Gurnee et al. (2024)의 부록 A.1, 'Folding LayerNorm'을 참조하세요. 2. 숫자 정밀도가 충분히 높아서 최종 LayerNorm 이후 숨겨진 상태가 구에 있다고 가정합니다. 3. 모든 쿼리 \(p\)에 대해 모든 \(g_{\theta}(p)\)를 포함하는 퇴화된 저차원 하위 공간이 없습니다. 4. RMSNorm/LayerNorm의 \(\varepsilon\)은 \(0\)이라고 가정합니다. 이것은 중요한 가정이 아닙니다.
1. 선형성에 의해 최종 LayerNorm 가중치(\감마)를 \mathbf{W}에 병합합니다.3 각주 3: 언엠베딩 행렬을 다시 작성하는 이 방법에 대한 자세한 설명은 Gurnee et al. (2024)의 부록 A.1, '폴딩 레이어노멀'을 참조하세요. 2. 숫자 정밀도가 충분히 높아서 최종 LayerNorm 이후 숨겨진 상태가 구에 있다고 가정합니다. 3. 모든 쿼리 \(p\)에 대해 모든 \(g_{\theta}(p)\)를 포함하는 퇴화된 저차원 하위 공간이 없습니다. 4. RMSNorm/LayerNorm의 \(\바렙실론\)은 \(0\)이라고 가정합니다. 이것은 중요한 가정이 아닙니다.