We observe that for all LLMs, fact hallucination is typically the most common error pattern, and this error type escalates dramatically with the decrease of \(\tau\). The main reason is that LLMs are inclined to use the rules in the sequential order as they present in the problem, so when the next rule in the problem is not yet applicable, LLMs might still hallucinate facts to complete the proof step. Simultaneously, we observe that the percentage of wrong refutation is generally lower for \(\tau=-1\) than for \(|\tau|<1\). We present an example of wrong refutation in Figure 1, and we include more examples of rule and fact hallucination in Figure 10 of Appendix B.
모든 LLMs의 경우 일반적으로 fact hallucination이 가장 흔한 오류 패턴이며, 이러한 오류 유형은 \(\tau\)의 감소에 따라 급격히 증가합니다. 주된 이유는 LLMs이 문제에 제시된 대로 순차적인 순서로 규칙을 사용하는 경향이 있기 때문에 문제의 다음 규칙이 아직 적용되지 않은 경우에도 LLMs은 증명 단계를 완료하기 위해 사실을 환각할 수 있기 때문입니다. 동시에 잘못된 반박의 비율은 일반적으로 \(|\tau|<1\)보다 \(\tau=-1\)에서 더 낮다는 것을 관찰합니다. 잘못된 반박의 예는 그림 1에 나와 있으며, 규칙 및 fact hallucination의 더 많은 예는 부록 B의 그림 10에 나와 있습니다.
모든 LLM의 경우 일반적으로 사실 환각이 가장 흔한 오류 패턴이며, 이러한 오류 유형은 \(\tau\)의 감소에 따라 급격히 증가합니다. 주된 이유는 LLM이 문제에 제시된 대로 순차적인 순서로 규칙을 사용하는 경향이 있기 때문에 문제의 다음 규칙이 아직 적용되지 않은 경우에도 LLM은 증명 단계를 완료하기 위해 사실을 환각할 수 있기 때문입니다. 동시에 잘못된 반박의 비율은 일반적으로 \(|\tau|<1\)보다 \(\tau=-1\)에서 더 낮다는 것을 관찰합니다. 잘못된 반박의 예는 그림 1에 나와 있으며, 규칙 및 사실 환각의 더 많은 예는 부록 B의 그림 10에 나와 있습니다.