Figure 3: Language model providers may sample differently in an effort to protect prompts from inversion. We explore inversion performance under various sampling strategies employed as defenses against inversion attacks: annealing temperature, setting top-K value, and nucleus (top-p) sampling. We consider applying temperature to the softmax both in log space (orange) and probability space (blue).
그림 3: Language model 공급자는 프롬프트를 반전으로부터 보호하기 위해 다르게 샘플링할 수 있습니다. 우리는 inversion 공격에 대한 방어 수단으로 사용되는 다양한 샘플링 전략(annealing temperature, setting top-K value, 및 nucleus (top-p) sampling)에서 inversion 성능을 살펴봅니다. 소프트맥스에 temperature를 로그 공간(주황색)과 확률 공간(파란색) 모두에 적용하는 것을 고려합니다.
그림 3: 언어 모델 공급자는 프롬프트를 반전으로부터 보호하기 위해 다르게 샘플링할 수 있습니다. 우리는 반전 공격에 대한 방어 수단으로 사용되는 다양한 샘플링 전략(어닐링 온도, 상위 K 값 설정, 핵(top-p) 샘플링)에서 반전 성능을 살펴봅니다. 소프트맥스에 온도를 로그 공간(주황색)과 확률 공간(파란색) 모두에 적용하는 것을 고려합니다.