based on the preceding sentences, since the number of fish remains unknown up to that point, and the LLM must read the remaining sentences and calculate the number of fish first. However, the prediction from GPT-3.5-turbo instead uses the number calculated in the previous step (i.e., the number of rabbits) to calculate the number of gerbils, resulting in an error. Such a failure mode is less common with PaLM 2-L, but still constitutes a non-negligible proportion of prediction errors for the other LLMs. We present more examples of model predictions in Appendix C.
이전 문장들을 기반으로, 그 시점까지 물고기의 수는 알려지지 않았기 때문에 LLM은 남은 문장들을 읽고 먼저 물고기의 수를 계산해야 합니다. 그러나 GPT-3.5-turbo의 예측은 대신 이전 단계에서 계산된 수 (즉, 토끼의 수)를 사용하여 저빌의 수를 계산함으로써 오류를 발생시킵니다. 이러한 실패 모드는 PaLM 2-L에서는 덜 흔하지만, 다른 LLM들에서는 여전히 무시할 수 없는 비율의 예측 오류를 구성합니다. 모델 예측의 더 많은 예시는 부록 C에 제시되어 있습니다.
앞 문장에 따르면, 그 시점까지 물고기의 수는 알려지지 않았기 때문에 LLM은 나머지 문장을 읽고 먼저 물고기의 수를 계산해야 합니다. 그러나 GPT-3.5-turbo의 예측은 대신 이전 단계에서 계산한 수(즉, 토끼의 수)를 사용하여 게르빌의 수를 계산하므로 오류가 발생합니다. 이러한 실패 모드는 PaLM 2-L에서는 덜 일반적이지만 다른 LLM의 경우 여전히 예측 오류의 상당 부분을 차지합니다. 모델 예측에 대한 자세한 예는 부록 C에서 확인할 수 있습니다.