Numerical reasoning has been regarded as one of the most essential tasks in examining the reasoning ability of large language models. As we can see, the Alpaca-33B achieves significant improvements over Plus-7B and Plus-13B models. Table 6 shows example outputs for this task. The first prompt is well-known for probing the reasoning ability, namely "which one is heavier, 1kg of cotton or 1kg of iron?". Both Plus-7B and Plus-13B failed to give a correct answer mentioning that "cotton is lighter than iron". However, 33B could correctly identify that these two things are the same weight. The second prompt is a simple calculation task, asking "how many legs for a cat and a chicken". However, as we can see, both Plus-7B and Plus-13B do not have the commonsense knowledge that a cat has four legs and two for a chicken, resulting in wrong answers. The last prompt is a numerical reasoning task to let the model predict the next number of an array. Still, only 33B model correctly identifies the pattern of the given array that the next number should be the square of its index. These observations indicate that the size of the model is vital in numerical reasoning tasks.
수리 reasoning은 대규모 언어 모델의 reasoning 능력을 검사하는 데 가장 필수적인 작업 중 하나로 간주되어 왔습니다. Alpaca-33B는 Plus-7B 및 Plus-13B 모델에 비해 상당한 개선을 이루었습니다. 표 6은 이 작업에 대한 예제 출력을 보여줍니다. 첫 번째 prompt는 reasoning 능력을 테스트하는 데 잘 알려진 "솜 1kg과 철 1kg 중 어느 것이 더 무거운가?"라는 질문입니다. Plus-7B와 Plus-13B는 모두 "솜이 철보다 가볍다"고 답하며 정답을 제시하지 못했습니다. 그러나 33B는 이 두 가지가 같은 무게라는 것을 정확하게 파악할 수 있었습니다. 두 번째 prompt는 "고양이와 닭의 다리는 몇 개인가요?"라는 간단한 계산 과제입니다. 그러나 보시다시피 Plus-7B와 Plus-13B 모두 고양이는 다리가 4개, 닭은 다리가 2개라는 상식적인 지식이 없어 오답을 냈습니다. 마지막 prompt는 모델이 배열의 다음 숫자를 예측하도록 하는 수리 reasoning 과제입니다. 그러나 33B 모델만이 다음 숫자가 해당 인덱스의 제곱이어야 한다는 주어진 배열의 패턴을 정확하게 식별합니다. 이러한 관찰 결과는 수리 reasoning 과제에서 모델의 크기가 매우 중요하다는 것을 나타냅니다.
수리 추론은 대규모 언어 모델의 추론 능력을 검사하는 데 가장 필수적인 작업 중 하나로 간주되어 왔습니다. 알파카-33B는 플러스-7B 및 플러스-13B 모델에 비해 상당한 개선을 이루었습니다. 표 6은 이 작업에 대한 예제 출력을 보여줍니다. 첫 번째 프롬프트는 추론 능력을 테스트하는 데 잘 알려진 "솜 1kg과 철 1kg 중 어느 것이 더 무거운가?"라는 질문입니다. Plus-7B와 Plus-13B는 모두 "솜이 철보다 가볍다"고 답하며 정답을 제시하지 못했습니다. 그러나 33B는 이 두 가지가 같은 무게라는 것을 정확하게 파악할 수 있었습니다. 두 번째 프롬프트는 "고양이와 닭의 다리는 몇 개인가요?"라는 간단한 계산 과제입니다. 그러나 보시다시피 Plus-7B와 Plus-13B 모두 고양이는 다리가 4개, 닭은 다리가 2개라는 상식적인 지식이 없어 오답을 냈습니다. 마지막 프롬프트는 모델이 배열의 다음 숫자를 예측하도록 하는 수리 추론 과제입니다. 그러나 33B 모델만이 다음 숫자가 해당 인덱스의 제곱이어야 한다는 주어진 배열의 패턴을 정확하게 식별합니다. 이러한 관찰 결과는 수리 추론 과제에서 모델의 크기가 매우 중요하다는 것을 나타냅니다.