We measure the premise order effect by varying the following two factors:* **Number of rules required in the proof.** It is expected that the premise order effect is more significant with more rules. For our benchmark, we generate problems whose numbers of rules range from 4 to 12. * **Number of distracting rules** (i.e., rules that are not useful for the proof) presented in the problem. The presence of distracting rules also complicates the problem, as premise selection itself is challenging (Ferreira and Freitas, 2020; Irving et al., 2016; Wang et al., 2017), and LLMs are shown to be easily distracted by irrelevant context (Shi et al., 2023). We include problem variants with 0, 5 and 10 distracting rules.
전제 순서 효과를 측정하기 위해 다음 두 가지 요소를 변화시킵니다: * **증명에 필요한 규칙의 수.** 규칙이 많을수록 전제 순서 효과가 더 중요할 것으로 예상됩니다. 우리의 벤치마크에서는 규칙의 수가 4에서 12까지 범위인 문제를 생성합니다. * **혼란을 주는 규칙의 수** (즉, 증명에 유용하지 않은 규칙). 혼란을 주는 규칙의 존재는 전제 선택 자체가 도전적이기 때문에 문제를 더욱 복잡하게 만듭니다 (Ferreira and Freitas, 2020; Irving et al., 2016; Wang et al., 2017). 또한, LLM은 관련 없는 맥락에 쉽게 혼란스러워하는 것으로 나타났습니다 (Shi et al., 2023). 우리는 혼란을 주는 규칙이 0, 5, 10개인 문제 변형을 포함합니다.
전제 순서 효과는 다음 두 가지 요인을 변경하여 측정합니다:* **증명에 필요한 규칙의 수**. 규칙이 많을수록 전제 순서 효과가 더 큰 것으로 예상됩니다. 벤치마크의 경우 규칙 수가 4개에서 12개까지 다양한 문제를 생성합니다. * 문제에 제시된 **주의 산만한 규칙**의 수(즉, 증명에 유용하지 않은 규칙)입니다. 전제 선택 자체가 어렵기 때문에 주의 산만한 규칙의 존재는 문제를 복잡하게 만들고(Ferreira and Freitas, 2020; Irving et al., 2016; Wang et al., 2017), LLM은 관련 없는 컨텍스트에 쉽게 주의를 산만하게 하는 것으로 나타났습니다(Shi et al., 2023). 주의 산만한 규칙이 0, 5, 10개인 문제 변형을 포함합니다.