Table 1 shows the main results of the experiments on reversing prompts from the Instructions-2M test set on both a raw LLM and RLHF Chat variant. We find that our method is able to achieve high BLEU score with the true prompts and achieve reasonable high-exact match reproduction. This approach is significantly better than few-shot prompting approaches, even when using GPT-4. The other trained approach (Sample Inverter) has a reasonable BLEU but 0 exact recoveries. The failure of sample inversion indicates that we are able to extract more usable information about the prompt from the logit vector than from the argmax outputs alone.
표 1은 원시 LLM과 RLHF Chat 변형 모두에서 Instructions-2M 테스트 세트의 프롬프트 반전 실험의 주요 결과를 보여줍니다. 이 방법은 실제 프롬프트로 높은 BLEU 점수를 달성하고 합리적으로 높은 정확도로 재생성할 수 있다는 것을 발견했습니다. 이 접근 방식은 GPT-4를 사용하는 경우에도 few-shot 프롬프트 접근 방식보다 훨씬 낫습니다. 다른 훈련된 접근 방식(Sample Inverter)은 BLEU 점수는 합리적이지만 정확한 복구는 0입니다. 샘플 반전의 실패는 logit 벡터에서 argmax 출력만으로는 프롬프트에 대한 사용 가능한 정보를 더 많이 추출할 수 있음을 나타냅니다.
표 1은 원시 LLM과 RLHF 채팅 변형 모두에서 Instructions-2M 테스트 세트의 프롬프트 반전 실험의 주요 결과를 보여줍니다. 이 방법은 실제 프롬프트로 높은 BLEU 점수를 달성하고 합리적으로 높은 정확도로 재생성할 수 있다는 것을 발견했습니다. 이 접근 방식은 GPT-4를 사용하는 경우에도 몇 번의 샷 프롬프트 접근 방식보다 훨씬 낫습니다. 다른 훈련된 접근 방식(샘플 반전기)은 BLEU 점수는 합리적이지만 정확한 복구는 0입니다. 샘플 반전의 실패는 로그 벡터에서 아르맥스 출력만으로는 프롬프트에 대한 사용 가능한 정보를 더 많이 추출할 수 있음을 나타냅니다.