We define the problem of inversion from language model outputs and analyze inversion approaches from an attack and defense perspective. We show that this attack vector can be used to elicit hidden prompts from LM systems, even when we do not have direct access to model output distributions.
언어 모델 출력에서 반전 문제를 정의하고 공격과 방어 관점에서 inversion 접근 방식을 분석합니다. 우리는 이 공격 벡터를 사용하여 모델 출력 분포에 대한 직접적인 액세스 권한이 없는 경우에도 LM 시스템에서 숨겨진 prompts를 이끌어낼 수 있음을 보여줍니다.
언어 모델 출력에서 반전 문제를 정의하고 공격과 방어 관점에서 반전 접근 방식을 분석합니다. 우리는 이 공격 벡터를 사용하여 모델 출력 분포에 대한 직접적인 액세스 권한이 없는 경우에도 LM 시스템에서 숨겨진 프롬프트를 이끌어낼 수 있음을 보여줍니다.