To confirm that the method from Appendix B.2.1 works, we test whether we can detect whether the GPT-2, Pythia and LLAMA architectures use LayerNorm or RMSNorm from their logit outputs alone. We found that the technique required two adjustments before it worked on models with lower than 32-bit precision (it always worked with 32-bit precision). i) We do not subtract \(\mathcal{O}\left(p_{0}\right)\) from logits queries, but instead subtract the mean logits over all queries, i.e. \(\frac{1}{n}\sum_{i=1}^{n}\mathcal{O}\left(p_{i}\right)\). Since the average of several points in a common affine subspace still lie on that affine subspace, this doesn't change the conclusions from Appendix B.2.1. ii) We additionally found it helped to calculate this mean in lower precision, before casting to 64-bit precision to calculate the compact SVD.
부록 B.2.1의 방법이 작동하는지 확인하기 위해 logit 출력만으로 GPT-2, Pythia 및 LLAMA 아키텍처가 LayerNorm을 사용하는지 RMSNorm을 사용하는지 감지할 수 있는지 테스트했습니다. 이 기술이 작동하려면 32비트 미만의 정밀도를 가진 모델에서 작동하기 전에 두 가지 조정이 필요했습니다(32비트 정밀도에서는 항상 작동했습니다). i) logit 쿼리에서 \(\mathcal{O}\left(p_{0}\right)\)를 빼는 대신 모든 쿼리에 대한 평균 logit, 즉 \(\frac{1}{n}\sum_{i=1}^{n}\mathcal{O}\left(p_{i}\right)\)를 뺍니다. 공통 아핀 공간에 있는 여러 점의 평균은 여전히 해당 아핀 공간에 있으므로, 이는 부록 B.2.1의 결론을 바꾸지 않습니다. ii) 또한 compact SVD를 계산하기 위해 64비트 정밀도로 변환하기 전에 더 낮은 정밀도로 이 평균을 계산하는 것이 도움이 된다는 것을 발견했습니다.
부록 B.2.1의 방법이 작동하는지 확인하기 위해 로짓 출력만으로 GPT-2, Pythia 및 LLAMA 아키텍처가 LayerNorm을 사용하는지 RMSNorm을 사용하는지 감지할 수 있는지 테스트했습니다. 이 기술이 작동하려면 32비트 미만의 정밀도를 가진 모델에서 작동하기 전에 두 가지 조정이 필요했습니다(32비트 정밀도에서는 항상 작동했습니다). i) 로짓 쿼리에서 \(\mathcal{O}\left(p_{0}\right)\)를 빼는 대신 모든 쿼리에 대한 평균 로짓, 즉 \(\frac{1}{n}\sum_{i=1}^{n}\mathcal{O}\left(p_{i}\right)\)를 뺍니다. 공통 아핀 공간에 있는 여러 점의 평균은 여전히 해당 아핀 공간에 있으므로, 이는 부록 B.2.1의 결론을 바꾸지 않습니다. ii) 또한 컴팩트 SVD를 계산하기 위해 64비트 정밀도로 변환하기 전에 더 낮은 정밀도로 이 평균을 계산하는 것이 도움이 된다는 것을 발견했습니다.