We plot KL and bitwise Hamming Distance relative to the position of the synonym swap in Figure 2. If LMs did not contain residual information about previous words, we would expect bitwise distance to decay to zero as we move away from the position of the swap. However, we observe that bits remain: although the vector \(\mathbf{v}\) is only used to predict the next token, it clearly contains residual information about the prompt tokens \(x_{1},...,x_{T}\). Since KL puts most of its weight on the highest-likelihood tokens, it can decay to zero, while much of the information remains in the low-probability tokens.
우리는 Figure 2에 동의어 스왑의 위치에 대한 KL 및 비트 단위 Hamming Distance를 플롯합니다. LMs에 이전 단어에 대한 잔여 정보가 포함되어 있지 않다면, 스왑 위치에서 멀어질수록 비트 단위 거리가 0으로 감소하는 것을 예상할 수 있습니다. 그러나 벡터 (\(\mathbf{v}\))는 다음 토큰을 예측하는 데만 사용되지만 프롬프트 토큰 \(x_{1},...,x_{T}\)에 대한 잔여 정보를 명확하게 포함하고 있음을 관찰할 수 있습니다. KL은 가장 높은 확률의 토큰에 대부분의 가중치를 부여하기 때문에 0으로 감소할 수 있지만, 많은 정보는 낮은 확률의 토큰에 남아 있습니다.
우리는 Figure 2에 동의어 스왑의 위치에 대한 KL 및 비트 단위 해밍 거리를 플롯합니다. LM에 이전 단어에 대한 잔여 정보가 포함되어 있지 않다면, 스왑 위치에서 멀어질수록 비트 단위 거리가 0으로 감소하는 것을 예상할 수 있습니다. 그러나 벡터 (\mathbf{v})는 다음 토큰을 예측하는 데만 사용되지만 프롬프트 토큰 \(x_{1},...,x_{T}\)에 대한 잔여 정보를 명확하게 포함하고 있음을 관찰할 수 있습니다. KL은 가장 높은 확률의 토큰에 대부분의 가중치를 부여하기 때문에 0으로 감소할 수 있지만, 많은 정보는 낮은 확률의 토큰에 남아 있습니다.