so cancels the LayerNorm bias term. Hence, if we apply the Lemma 4.1 attack with this subtraction modification to a model using LayerNorm, then the resultant '\(h\)' output will be smaller by 1 (due to Appendix B.1). This would imply the model used LayerNorm rather than RMSNorm, because RMSNorm does not project onto a smaller subspace and so would not have a decrease in '\(h\)' value if we were to use this subtraction trick.
따라서 LayerNorm 바이어스 항을 취소합니다. 따라서 이 빼기 수정을 사용하여 LayerNorm을 사용하는 모델에 Lemma 4.1 공격을 적용하면 결과 '\(h\)' 출력이 1씩 줄어듭니다(부록 B.1 참조). 이는 RMSNorm이 더 작은 부분 공간에 투영하지 않으므로 이 빼기 트릭을 사용하더라도 '\(h\)' 값이 감소하지 않기 때문에 모델이 RMSNorm이 아닌 LayerNorm을 사용했음을 의미합니다.
따라서 LayerNorm 바이어스 항을 취소합니다. 따라서 이 빼기 수정을 사용하여 레이어노멀을 사용하는 모델에 4.1 레마 공격을 적용하면 결과 '\(h\)' 출력이 1씩 줄어듭니다(부록 B.1 참조). 이는 RMSNorm이 더 작은 부분 공간에 투영하지 않으므로 이 빼기 트릭을 사용하더라도 '\(h\)' 값이 감소하지 않기 때문에 모델이 RMSNorm이 아닌 LayerNorm을 사용했음을 의미합니다.