Almost all LLMs that have publicly available architecture details use LayerNorm (Ba et al., 2016) or RMSNorm (Zhang and Sennrich, 2019) just before applying the output projection \(\mathbf{W}\)(Biderman, 2024). LayerNorm begins with a centering step, which projects its input onto a \((h-1)\)-dimensional subspace (and RMSNorm does not). In theory, this could break our assumption that the rank of the matrix with columns \(g_{\theta}\left(p_{i}\right)\) (\(i=1,...,n\)) has rank \(h\) (Lemma 4.1). In practice, all LLMs we surveyed (Biderman, 2024) enabled the LayerNorm bias, which means the matrices had full rank \(h\) (besides GPT-2 Small: see Appendix A).
아키텍처 세부 정보를 공개적으로 이용할 수 있는 거의 모든 LLM은 출력 투영 \(\mathbf{W}\)(Biderman, 2024)를 적용하기 직전에 LayerNorm(Ba et al., 2016) 또는 RMSNorm(Zhang and Sennrich, 2019)을 사용합니다. LayerNorm은 입력을 \((h-1)\)-차원 하위 공간에 투영하는 중심화 단계로 시작합니다(RMSNorm은 그렇지 않습니다). 이론적으로 이것은 열 \(g_{\theta}\left(p_{i}\right)\)(i=1,...,n)의 행렬의 순위가 \(h\)를 갖는다는 가정(Lemma 4.1)을 깨뜨릴 수 있습니다. 실제로, 우리가 조사한 모든 LLM(Biderman, 2024)은 LayerNorm 바이어스를 활성화했으며, 이는 행렬이 전체 순위 \(h\)를 가짐을 의미합니다(GPT-2 Small 제외: 부록 A 참조).
아키텍처 세부 정보를 공개적으로 이용할 수 있는 거의 모든 LLM은 출력 투영 \mathbf{W}\)(바이더만, 2024)를 적용하기 직전에 LayerNorm(Ba et al., 2016) 또는 RMSNorm(Zhang and Sennrich, 2019)을 사용합니다. LayerNorm은 입력을 \((h-1)\)-차원 하위 공간에 투영하는 중심화 단계로 시작합니다(RMSNorm은 그렇지 않습니다). 이론적으로 이것은 열 \(g_{\theta}\left(p_{i}\right)\)(i=1,...,n)의 행렬의 순위가 \(h\)를 갖는다는 가정(레마 4.1)을 깨뜨릴 수 있습니다. 실제로, 우리가 조사한 모든 LLM(Biderman, 2024)은 LayerNorm 바이어스를 활성화했으며, 이는 행렬이 전체 순위 \(h\)를 가짐을 의미합니다(GPT-2 Small 제외: 부록 A 참조).