\(\bullet\)_The effect of CoT prompting components._ The major distinction between CoT prompting and standard prompting is the incorporation of reasoning paths prior to the final answer. Thus, some researchers investigate the effects of different components in the reasoning paths. Specifically, a recent study identifies three key components in CoT prompting, namely _symbols_ (_e.g.,_ numerical quantities in arithmetic reasoning), _patterns_ (_e.g.,_ equations in arithmetic reasoning), and _text_ (_i.e.,_ the rest of tokens that are not symbols or patterns) [522]. It is shown that the latter two parts (_i.e.,_ patterns and text) are essential to the model performance, and removing either one would lead to a significant performance drop. However, the correctness of symbols and patterns does not seem critical. Further, there exists a symbiotic relationship between text and patterns: the text helps LLMs to generate useful patterns, and patterns aid LLMs to understand tasks and generate texts that help solve them [522].
\(\bullet\)_CoT prompting 구성 요소의 효과._ CoT prompting과 표준 prompting의 주요 차이점은 최종 답변에 앞서 reasoning 경로를 통합한다는 것입니다. 따라서 일부 연구자들은 reasoning 경로의 다양한 구성 요소의 효과를 조사합니다. 특히, 최근 연구에서는 CoT prompting에 세 가지 주요 구성 요소, 즉 _기호_(_예: arithmetic reasoning의 수량), _패턴_(_예: arithmetic reasoning의 방정식), _텍스트_(_즉, 기호나 패턴이 아닌 나머지 토큰) [522]를 확인했습니다. 후자의 두 부분(즉, 패턴과 텍스트)은 모델 성능에 필수적이며, 어느 하나라도 제거하면 성능이 크게 저하되는 것으로 나타났습니다. 그러나 기호와 패턴의 정확성은 중요하지 않은 것으로 보입니다. 또한 텍스트와 패턴 사이에는 공생 관계가 존재합니다. 즉, 텍스트는 LLM이 유용한 패턴을 생성하는 데 도움이 되고, 패턴은 LLM이 작업을 이해하고 이를 해결하는 데 도움이 되는 텍스트를 생성하는 데 도움이 됩니다[522].
\(\bullet\)_CoT 프롬프트 구성 요소의 효과._ CoT 프롬프트와 표준 프롬프트의 주요 차이점은 최종 답변에 앞서 추론 경로를 통합한다는 것입니다. 따라서 일부 연구자들은 추론 경로의 다양한 구성 요소의 효과를 조사합니다. 특히, 최근 연구에서는 CoT 프롬프트에 세 가지 주요 구성 요소, 즉 _기호_(_예: 산술 추론의 수량), _패턴_(_예: 산술 추론의 방정식), _텍스트_(_즉, 기호나 패턴이 아닌 나머지 토큰) [522]를 확인했습니다. 후자의 두 부분(즉, 패턴과 텍스트)은 모델 성능에 필수적이며, 어느 하나라도 제거하면 성능이 크게 저하되는 것으로 나타났습니다. 그러나 기호와 패턴의 정확성은 중요하지 않은 것으로 보입니다. 또한 텍스트와 패턴 사이에는 공생 관계가 존재합니다. 즉, 텍스트는 LLM이 유용한 패턴을 생성하는 데 도움이 되고, 패턴은 LLM이 작업을 이해하고 이를 해결하는 데 도움이 되는 텍스트를 생성하는 데 도움이 됩니다[522].