Our results show that systems that offer text-only access to a language model reveal information about their prompts. With enough queries, we can extract next-token probabilities at a given position, which can be used to reconstruct the input. Unlike text-based jailbreaks, our dense distribution inversion is less inhibited by post-pretraining reinforcement learning techniques such as RLHF to align the model. We also show that our inversion techniques transfer between models of the same family, and are not affected by language model scaling.
우리의 결과는 언어 모델에 텍스트 전용 액세스를 제공하는 시스템이 프롬프트에 대한 정보를 공개한다는 것을 보여줍니다. 충분한 쿼리를 통해 주어진 위치에서 다음 토큰 확률을 추출할 수 있으며, 이는 입력을 재구성하는 데 사용할 수 있습니다. 텍스트 기반 탈출구와 달리, 우리의 고밀도 분포 반전은 모델을 정렬하기 위한 RLHF와 같은 사후 학습 Reinforcement Learning 기술에 의해 덜 방해받습니다. 또한 우리의 반전 기술이 같은 계열의 모델 간에 전이되며 Large Language Models (LLMs) 스케일링의 영향을 받지 않는다는 것을 보여줍니다.
우리의 결과는 언어 모델에 텍스트 전용 액세스를 제공하는 시스템이 프롬프트에 대한 정보를 공개한다는 것을 보여줍니다. 충분한 쿼리를 통해 주어진 위치에서 다음 토큰 확률을 추출할 수 있으며, 이는 입력을 재구성하는 데 사용할 수 있습니다. 텍스트 기반 탈출구와 달리, 우리의 고밀도 분포 반전은 모델을 정렬하기 위한 RLHF와 같은 사후 학습 강화 학습 기술에 의해 덜 방해받습니다. 또한 우리의 반전 기술이 같은 계열의 모델 간에 전이되며 언어 모델 스케일링의 영향을 받지 않는다는 것을 보여줍니다.