We consider three different LM sampling mechanisms as defenses against prompt inversion: adjusting the softmax temperature during sampling, adjusting the top-p parameter of nucleus sampling (Holtzman et al., 2020), and adjusting the total number of tokens considered (top-K). We sample from LLama-2 7b (non-chat) and feed probabilities into our inverter model according to the desired strategy. Results are visualized in Figure 3.
프롬프트 반전에 대한 방어책으로 샘플링 중 softmax 온도 조정, nucleus sampling (Holtzman et al., 2020)의 top-p 매개변수 조정, 고려되는 토큰 수 총합(top-K) 조정 등 세 가지 LM 샘플링 메커니즘을 고려합니다. LLama-2 7b(비채팅)에서 샘플링하고 원하는 전략에 따라 확률을 인버터 모델에 입력합니다. 결과는 그림 3에 시각화되어 있습니다.
프롬프트 반전에 대한 방어책으로 샘플링 중 소프트맥스 온도 조정, 핵심 샘플링(Holtzman et al., 2020)의 상위 p 매개변수 조정, 고려되는 토큰 수 총합(상위 K) 조정 등 세 가지 LM 샘플링 메커니즘을 고려합니다. LLama-2 7b(비채팅)에서 샘플링하고 원하는 전략에 따라 확률을 인버터 모델에 입력합니다. 결과는 그림 3에 시각화되어 있습니다.