Figure 4: Effect of different prompts using GPT-4 on RAG preference rate vs prior probability. The “Strict” prompt strongly enforces literal adherence to the retrieved context, while the “Loose” prompt encourages the model to make a reasonable judgment in light of the provided context. We observe lower and steeper drops in RAG adherence with the loose vs strict prompts, suggesting that prompt wording plays a significant factor in controlling RAG adherence. Full prompts are provided in the Appendix.
그림 4: GPT-4를 사용한 다양한 prompts가 선행 확률 대비 RAG 선호도에 미치는 영향. "엄격" prompt는 검색된 컨텍스트에 문자 그대로 충실하도록 강력하게 적용하는 반면, "느슨함" prompt는 제공된 컨텍스트에 비추어 합리적인 판단을 내리도록 모델을 장려합니다. 느슨한 prompt와 엄격한 prompt를 사용할 경우 RAG 준수율이 낮아지고 더 가파르게 떨어지는 것을 관찰할 수 있으며, 이는 prompt 문구가 RAG 준수율을 제어하는 데 중요한 요소임을 시사합니다. 전체 prompts는 부록에 제공됩니다.
그림 4: GPT-4를 사용한 다양한 프롬프트가 선행 확률 대비 RAG 선호도에 미치는 영향. "엄격" 프롬프트는 검색된 컨텍스트에 문자 그대로 충실하도록 강력하게 적용하는 반면, "느슨함" 프롬프트는 제공된 컨텍스트에 비추어 합리적인 판단을 내리도록 모델을 장려합니다. 느슨한 프롬프트와 엄격한 프롬프트를 사용할 경우 RAG 준수율이 낮아지고 더 가파르게 떨어지는 것을 관찰할 수 있으며, 이는 프롬프트 문구가 RAG 준수율을 제어하는 데 중요한 요소임을 시사합니다. 전체 프롬프트는 부록에 제공됩니다.