\(\bullet\)_Step-by-step reasoning_. For small language models, it is usually difficult to solve complex tasks that involve multiple reasoning steps, _e.g.,_ mathematical word problems. In contrast, with the chain-of-thought (CoT) prompting strategy [33], LLMs can solve such tasks by utilizing the prompting mechanism that involves intermediate reasoning steps for deriving the final answer. This ability is speculated to be potentially obtained by training on code [33, 47]. An empirical study [33] has shown that CoT prompting can bring performance gains (on arithmetic reasoning benchmarks) when applied to PaLM and LaMDA variants with a model size larger than 60B, while its advantage over the standard prompting becomes more evident when the model size exceeds 100B. Furthermore, the performance improvement with CoT prompting seems to be also varied for different tasks, _e.g.,_ GSM8K \(>\) MAWPS \(>\) SWAMP for PaLM [33].
\(\bullet\)_단계별 추론_. 소규모 언어 모델의 경우 일반적으로 여러 추론 단계가 필요한 복잡한 작업, _예를 들어_ 수학 워드 문제를 해결하기 어려운 경우가 많습니다. 반면, 연쇄 추론(CoT) 프롬프트 전략[33]을 사용하면 LLMs은 최종 답을 도출하기 위한 중간 추론 단계를 포함하는 프롬프트 메커니즘을 활용하여 이러한 작업을 해결할 수 있습니다. 이러한 능력은 코드에 대한 훈련을 통해 잠재적으로 획득할 수 있는 것으로 추측됩니다[33, 47]. 실증 연구[33]에 따르면, 모델 크기가 60B보다 큰 PaLM 및 LaMDA 변형에 CoT 프롬프트를 적용하면 arithmetic reasoning 벤치마크에서 성능 향상을 가져올 수 있으며, 모델 크기가 100B를 초과할 경우 표준 프롬프트에 비해 그 장점이 더욱 분명해지는 것으로 나타났습니다. 또한, CoT 프롬프트를 통한 성능 향상은 PaLM[33]의 경우 GSM8K \(>\) MAWPS \(>\) SWAMP 등과 같이 작업마다 다르게 나타나는 것으로 보입니다.
\(\bullet\)_단계별 추론_. 소규모 언어 모델의 경우 일반적으로 여러 추론 단계가 필요한 복잡한 작업, _예를 들어_ 수학 워드 문제를 해결하기 어려운 경우가 많습니다. 반면, 연쇄 추론(CoT) 프롬프트 전략[33]을 사용하면 LLM은 최종 답을 도출하기 위한 중간 추론 단계를 포함하는 프롬프트 메커니즘을 활용하여 이러한 작업을 해결할 수 있습니다. 이러한 능력은 코드에 대한 훈련을 통해 잠재적으로 획득할 수 있는 것으로 추측됩니다[33, 47]. 실증 연구[33]에 따르면, 모델 크기가 60B보다 큰 PaLM 및 LaMDA 변형에 CoT 프롬프트를 적용하면 산술 추론 벤치마크에서 성능 향상을 가져올 수 있으며, 모델 크기가 100B를 초과할 경우 표준 프롬프트에 비해 그 장점이 더욱 분명해지는 것으로 나타났습니다. 또한, CoT 프롬프트를 통한 성능 향상은 PaLM[33]의 경우 GSM8K(>\)MAWPS(>\)SWAMP 등과 같이 작업마다 다르게 나타나는 것으로 보입니다.