Error Analysis.We also perform a quantitative error analysis to understand the impact of MFT on the final results by analyzing the types of errors. We adopt the following error types: Calculator Error (CE), One Step Missing Error (OSME), Semantic Understanding Error (SUE) and Incoherent Steps Error (ISE). CE and OSME are minor errors that can be fixed with one-step while SUE and ISE are errors of misunderstanding the question or previous steps which need substantial fixing as defined by Wei et al. (2022). See more details of these error types in Appendix J. We use GPT-4 as a proxy for the judgement. Tab. 7 demonstrates that MFT has fewer SUE and ISE errors. This may be due to the benefits obtained by enhancing the model's question dependence. Additionally, the model experiences an increase in OSME and CE compared to SFT. The increased ratios might be minor errors that arise after solving major errors in question understanding.
오류 분석. 또한 오류 유형을 분석하여 MFT가 최종 결과에 미치는 영향을 정량적으로 분석합니다. 다음과 같은 오류 유형을 채택합니다: Calculator Error (CE), One Step Missing Error (OSME), Semantic Understanding Error (SUE), Incoherent Steps Error (ISE). CE와 OSME는 한 단계로 수정할 수 있는 경미한 오류이며, SUE와 ISE는 Wei 등(2022)이 정의한 대로 질문이나 이전 단계를 오해한 오류로 상당한 수정이 필요한 오류입니다. 이러한 오류 유형에 대한 자세한 내용은 부록 J에서 확인할 수 있습니다. 판단의 기준으로 GPT-4를 사용합니다. 표 7은 MFT가 SUE 및 ISE 오류가 적다는 것을 보여줍니다. 이는 모델의 질문 종속성을 향상시킴으로써 얻은 이점 때문일 수 있습니다. 또한 모델은 SFT에 비해 OSME와 CE가 증가했습니다. 비율이 증가한 것은 질문 이해에 대한 주요 오류를 해결한 후 발생하는 사소한 오류일 수 있습니다.
오류 분석.또한 오류 유형을 분석하여 MFT가 최종 결과에 미치는 영향을 정량적으로 분석합니다. 다음과 같은 오류 유형을 채택합니다: 계산기 오류(CE), 한 단계 누락 오류(OSME), 의미 이해 오류(SUE), 일관성 없는 단계 오류(ISE). CE와 OSME는 한 단계로 수정할 수 있는 경미한 오류이며, SUE와 ISE는 Wei 등(2022)이 정의한 대로 질문이나 이전 단계를 오해한 오류로 상당한 수정이 필요한 오류입니다. 이러한 오류 유형에 대한 자세한 내용은 부록 J에서 확인할 수 있습니다. 판단의 기준으로 GPT-4를 사용합니다. 표 7은 MFT가 SUE 및 ISE 오류가 적다는 것을 보여줍니다. 이는 모델의 질문 종속성을 향상시킴으로써 얻은 이점 때문일 수 있습니다. 또한 모델은 SFT에 비해 OSME와 CE가 증가했습니다. 비율이 증가한 것은 질문 이해에 대한 주요 오류를 해결한 후 발생하는 사소한 오류일 수 있습니다.