We evaluate the premise ordering effect on GPT-4-turbo, GPT-3.5-turbo, PaLM 2-L and Gemini Pro. We perform the greedy decoding with the temperature 0, and apply the zero-shot prompting in all experiments. On R-GSM, the model input only contains the problem description without additional instructions. For logical reasoning, as shown in Figure 1, we add an instruction in the prompt to ask for a derivation that specifies which premise is used in each step.
GPT-4-turbo, GPT-3.5-turbo, PaLM 2-L 및 Gemini Pro에 대한 전제 주문 효과를 평가합니다. 온도 0에서 greedy decoding을 수행하고 모든 실험에서 zero-shot prompting을 적용합니다. R-GSM에서 모델 입력에는 추가 instructions 없이 문제 설명만 포함됩니다. 논리적 추론의 경우, 그림 1과 같이 prompt에 instruction을 추가하여 각 단계에서 어떤 전제가 사용되는지 명시하는 도출을 요청합니다.
GPT-4-turbo, GPT-3.5-turbo, PaLM 2-L 및 Gemini Pro에 대한 전제 주문 효과를 평가합니다. 온도 0에서 욕심스러운 디코딩을 수행하고 모든 실험에서 제로 샷 프롬프트를 적용합니다. R-GSM에서 모델 입력에는 추가 지침 없이 문제 설명만 포함됩니다. 논리적 추론의 경우, 그림 1과 같이 프롬프트에 지침을 추가하여 각 단계에서 어떤 전제가 사용되는지 명시하는 도출을 요청합니다.