* _Jailbreak strings._ Human-written sequences that attempt to persuade the language model to divulge information from earlier in the sequence. We aggregate jailbreak strings from a variety of sources, including writing some manually. We only show the top jailbreak string in the tables, and include more results in the appendix. We source \(20\) jailbreak strings and test them on all models. For pre-trained Llama models, jailbreak strings are simply appended to the prompt. For chat models, we input the hidden prompt as a system instruction, along with a basic system instruction that instructs the model not to divulge its hidden prompt. We then input the jailbreak string as a user prompt. When reporting results, we report the mean performance of all prompts as well as an oracle figure indicating the best-performing jailbreak string on the test dataset selected after evaluation.
* _Jailbreak strings._ 언어 모델이 시퀀스 초반의 정보를 공개하도록 설득하려는 사람이 직접 작성한 시퀀스입니다. 저희는 일부 문자열을 수동으로 작성하는 등 다양한 소스에서 jailbreak strings를 수집합니다. 표에는 상위 jailbreak string만 표시되며, 부록에 더 많은 결과를 포함합니다. 20개의 jailbreak strings를 소싱하여 모든 모델에서 테스트합니다. 사전 학습된 Llama 모델의 경우, jailbreak strings를 프롬프트에 추가하기만 하면 됩니다. 채팅 모델의 경우, 모델이 숨겨진 프롬프트를 공개하지 말라는 기본 시스템 명령과 함께 숨겨진 프롬프트를 시스템 명령으로 입력한 다음, jailbreak string을 사용자 프롬프트로 입력합니다. 결과를 보고할 때는 모든 프롬프트의 평균 성능과 평가 후 선택한 테스트 데이터 세트에서 가장 성능이 좋은 jailbreak string을 나타내는 오라클 수치를 보고합니다.
* _제일 스트링._ 언어 모델이 시퀀스 초반의 정보를 공개하도록 설득하려는 사람이 직접 작성한 시퀀스입니다. 저희는 일부 문자열을 수동으로 작성하는 등 다양한 소스에서 출옥 문자열을 수집합니다. 표에는 상위 제일 문자열만 표시되며, 부록에 더 많은 결과를 포함합니다. 20개의 제일 문자열을 소싱하여 모든 모델에서 테스트합니다. 사전 학습된 라마 모델의 경우, 제일 문자열을 프롬프트에 추가하기만 하면 됩니다. 채팅 모델의 경우, 모델이 숨겨진 프롬프트를 공개하지 말라는 기본 시스템 명령과 함께 숨겨진 프롬프트를 시스템 명령으로 입력한 다음, 제일 문자열을 사용자 프롬프트로 입력합니다. 결과를 보고할 때는 모든 프롬프트의 평균 성능과 평가 후 선택한 테스트 데이터 세트에서 가장 성능이 좋은 제일 문자열을 나타내는 오라클 수치를 보고합니다.