(Bai et al., 2022; Ouyang et al., 2022)), the model can correctly solve 97.7% of GSM8K questions and 72.0% of MATH questions, when selecting the best answer from 256 random generations, as indicated by the orange star marks in Figure 1. It is noteworthy that the accuracy has even outperformed those reported for the GPT-4 model, which achieved 92.0% on GSM8K and 42.5% on MATH 1. Therefore, we conclude that the LLaMA-2 7B model has indeed developed strong mathematical capabilities. The primary issue is the lack of guarantee that the correct answer will be digged out, as most generations are incorrect. In fact, the accuracy drops to 49.5% on GSM8K and 7.9% on MATH if we consider only one random generation per question. We refer to this as the _instability issue_.
(Bai et al., 2022; Ouyang et al., 2022))에 따르면, 이 모델은 그림 1의 주황색 별 표시와 같이 256개의 무작위 생성에서 최적의 답을 선택할 때 GSM8K 문제의 97.7%, MATH 문제의 72.0%를 올바르게 풀 수 있습니다. 이 정확도는 GSM8K에서 92.0%, MATH 1에서 42.5%를 달성한 GPT-4 모델보다 뛰어난 수치라는 점에 주목할 필요가 있습니다. 따라서 우리는 LLaMA-2 7B 모델이 실제로 강력한 수학적 능력을 개발했다는 결론을 내립니다. 가장 큰 문제는 대부분의 생성이 잘못되었기 때문에 정답을 찾아낼 수 있다는 보장이 없다는 것입니다. 실제로 문제당 한 번의 무작위 생성만 고려하면 정확도는 GSM8K에서 49.5%, MATH에서 7.9%로 떨어집니다. 이를 _instability issue_라고 합니다.
(Bai et al., 2022; Ouyang et al., 2022))에 따르면, 이 모델은 그림 1의 주황색 별 표시와 같이 256개의 무작위 생성에서 최적의 답을 선택할 때 GSM8K 문제의 97.7%, MATH 문제의 72.0%를 올바르게 풀 수 있습니다. 이 정확도는 GSM8K에서 92.0%, MATH 1에서 42.5%를 달성한 GPT-4 모델보다 뛰어난 수치라는 점에 주목할 필요가 있습니다. 따라서 우리는 LLaMA-2 7B 모델이 실제로 강력한 수학적 능력을 개발했다는 결론을 내립니다. 가장 큰 문제는 대부분의 생성이 잘못되었기 때문에 정답을 찾아낼 수 있다는 보장이 없다는 것입니다. 실제로 문제당 한 번의 무작위 생성만 고려하면 정확도는 GSM8K에서 49.5%, MATH에서 7.9%로 떨어집니다. 이를 _불안정성 문제_라고 합니다.