Language models produce a distribution over the next token; can we use this to recover the prompt tokens? We consider the problem of language model inversion and show that next-token probabilities contain a surprising amount of information about the preceding text. Often we can recover the text in cases where it is hidden from the user, motivating a method for recovering unknown prompts given only the model's current distribution output. We consider a variety of model access scenarios, and show how even without predictions for every token in the vocabulary we can recover the probability vector through search.
언어 모델은 다음 토큰에 대한 분포를 생성합니다. 이를 사용하여 프롬프트 토큰을 복원할 수 있을까요? 우리는 언어 모델 역전 문제를 고려하고, 다음 토큰 확률이 이전 텍스트에 대한 놀라운 양의 정보를 포함하고 있음을 보여줍니다. 종종 사용자가 텍스트를 볼 수 없는 경우에도 텍스트를 복원할 수 있으며, 이는 모델의 현재 분포 출력만으로 알려지지 않은 프롬프트를 복원하는 방법을 제안합니다. 다양한 모델 접근 시나리오를 고려하고, 어휘의 모든 토큰에 대한 예측이 없어도 검색을 통해 확률 벡터를 복원할 수 있는 방법을 보여줍니다.
언어 모델은 다음 토큰에 대한 분포를 생성합니다. 이를 사용하여 프롬프트 토큰을 복구할 수 있을까요? 언어 모델 반전 문제를 고려하고 다음 토큰 확률에 이전 텍스트에 대한 놀라운 양의 정보가 포함되어 있음을 보여줍니다. 종종 사용자에게 숨겨져 있는 경우에도 텍스트를 복구할 수 있으며, 이는 모델의 현재 분포 출력만 주어졌을 때 알 수 없는 프롬프트를 복구하는 방법을 동기화합니다. 다양한 모델 액세스 시나리오를 고려하고 어휘의 모든 토큰에 대한 예측이 없더라도 검색을 통해 확률 벡터를 복구할 수 있는 방법을 보여줍니다.