Proof of Lemma 4.2(ii).: As a gentle warmup, we prove (ii) under the additional assumption that the model does not use normalization layers (LayerNorm or RMSNorm) in its architecture. To prove (ii) we show it is possible to find a two distinct sets of model parameters \(\theta,\theta^{\prime}\) with different embedding projection matrices that result in identical API outputs.
Lemma 4.2(ii)의 증명: 간단한 준비 운동으로, 모델이 아키텍처에서 정규화 레이어(LayerNorm 또는 RMSNorm)를 사용하지 않는다는 추가 가정 하에 (ii)를 증명합니다. (ii)를 증명하기 위해, 서로 다른 임베딩 투영 행렬을 가진 두 개의 서로 다른 모델 매개변수 \(\theta,\theta^{\prime}\)를 찾아 동일한 API 출력을 생성할 수 있음을 보입니다.
정리 4.2(ii) 증명.: 가벼운 워밍업으로, 모델이 아키텍처에서 정규화 레이어(LayerNorm 또는 RMSNorm)를 사용하지 않는다는 추가 가정 하에서 (ii)를 증명합니다. (ii)를 증명하기 위해 임베딩 투영 행렬이 다른 두 개의 서로 다른 모델 파라미터 집합 \(\theta,\theta^{\prime}\)를 찾아서 동일한 API 출력을 생성할 수 있음을 보여줍니다.