We then notice that the PassRatio@256 is significantly lower than that of Pass@256, being 48.2% on GSM8K and 7.9% on MATH. This suggests that while the correct answers to most math questions are present within 256 random generations, there is no assurance that the correct answers will consistently be extracted, a phenomenon we refer to as an "instability issue".
그런 다음 PassRatio@256이 Pass@256보다 현저히 낮다는 것을 알 수 있는데, GSM8K에서는 48.2%, MATH에서는 7.9%입니다. 이는 대부분의 수학 문제에 대한 정답이 256개의 무작위 생성 내에 존재하지만 정답이 일관되게 추출될 것이라는 보장이 없다는 것을 시사하며, 이를 "instability issue"라고 합니다.
그런 다음 PassRatio@256이 Pass@256보다 현저히 낮다는 것을 알 수 있는데, GSM8K에서는 48.2%, MATH에서는 7.9%입니다. 이는 대부분의 수학 문제에 대한 정답이 256개의 무작위 생성 내에 존재하지만 정답이 일관되게 추출될 것이라는 보장이 없다는 것을 시사하며, 이를 "불안정성 문제"라고 합니다.