**Distance Bias.** The model may learn this distance bias from the pattern in ground truth data, where previous steps are correctly annotated, allowing the model to extract useful information from nearby thoughts and calculations, sometimes perhaps even overlooking the original question description. However, during inference, it generates steps on its own, moving away from the accurately verified ground truth. With each new step, the likelihood of errors increases. Even without obvious mistakes, inappropriate rephrasing or omissions of question details could mislead subsequent reasoning. This risk is heightened when the model excessively focuses on nearby tokens while neglecting the question, leading to a higher error probability. This phenomenon can also be referred to as exposure bias Bengio et al. (2015), where no safe reasoning is guaranteed during inference.
**거리 편향**. 모델은 이전 단계가 올바르게 주석 처리된 ground truth 데이터의 패턴에서 이 거리 편향을 학습할 수 있으며, 이를 통해 모델은 인근의 생각과 계산에서 유용한 정보를 추출할 수 있으며, 때로는 원래의 질문 설명을 간과할 수도 있습니다. 그러나 추론하는 동안에는 스스로 단계를 생성하여 정확하게 검증된 ground truth에서 벗어납니다. 새로운 단계가 추가될 때마다 오류가 발생할 가능성이 높아집니다. 명백한 실수가 없더라도 질문 세부 사항을 부적절하게 바꾸거나 누락하면 이후 추론에 오해가 생길 수 있습니다. 이러한 위험은 모델이 질문을 소홀히 하는 동안 근처 토큰에 지나치게 집중하여 오류 확률이 높아질 때 더욱 커집니다. 이러한 현상은 추론 중에 안전한 추론이 보장되지 않는 노출 편향 Bengio 등(2015)이라고도 할 수 있습니다.
**거리 편향**. 모델은 이전 단계가 올바르게 주석 처리된 지상 실측 데이터의 패턴에서 이 거리 편향을 학습할 수 있으며, 이를 통해 모델은 인근의 생각과 계산에서 유용한 정보를 추출할 수 있으며, 때로는 원래의 질문 설명을 간과할 수도 있습니다. 그러나 추론하는 동안에는 스스로 단계를 생성하여 정확하게 검증된 지상 실측에서 벗어납니다. 새로운 단계가 추가될 때마다 오류가 발생할 가능성이 높아집니다. 명백한 실수가 없더라도 질문 세부 사항을 부적절하게 바꾸거나 누락하면 이후 추론에 오해가 생길 수 있습니다. 이러한 위험은 모델이 질문을 소홀히 하는 동안 근처 토큰에 지나치게 집중하여 오류 확률이 높아질 때 더욱 커집니다. 이러한 현상은 추론 중에 안전한 추론이 보장되지 않는 노출 편향 Bengio 등(2015)이라고도 할 수 있습니다.