Some work addresses from an empirical perspective and can serve as a practical guide. Madaan and Yazdanbakhsh (2022) decomposes prompts into three components: symbols, patterns, and text, exploring the impact of CoT through counterfactual prompting. Wang et al. (2023) analyzes the impact of demonstration selection. They find that the correctness of reasoning chains has a negligible effect, while the relevance to the question and correct reasoning order matters. Tang et al. (2023) explores the role of semantics. They find that chain-of-thought reasoning relies heavily on semantic knowledge introduced during pre-training and performs poorly in symbolic reasoning.
일부 작업은 경험적 관점에서 다루며 실용적인 가이드 역할을 할 수 있습니다. Madaan과 Yazdanbakhsh(2022)는 prompts를 기호, 패턴, 텍스트의 세 가지 구성 요소로 분해하여 counterfactual prompting을 통해 CoT의 영향을 탐구합니다. Wang 등(2023)은 demonstration 선택의 영향을 분석합니다. 그들은 추론 체인의 정확성은 무시할 수 있는 영향을 미치는 반면, 질문과의 관련성과 올바른 추론 순서는 중요하다는 것을 발견했습니다. Tang et al. (2023)은 semantics의 역할을 탐구합니다. 그들은 chain-of-thought reasoning이 사전 학습 중에 도입된 semantic knowledge에 크게 의존하며 symbolic reasoning에서는 성능이 저조하다는 것을 발견했습니다.
일부 작업은 경험적 관점에서 다루며 실용적인 가이드 역할을 할 수 있습니다. Madaan과 Yazdanbakhsh(2022)는 프롬프트를 기호, 패턴, 텍스트의 세 가지 구성 요소로 분해하여 반사실적 프롬프트를 통해 CoT의 영향을 탐구합니다. Wang 등(2023)은 데모 선택의 영향을 분석합니다. 그들은 추론 체인의 정확성은 무시할 수 있는 영향을 미치는 반면, 질문과의 관련성과 올바른 추론 순서는 중요하다는 것을 발견했습니다. Tang et al. (2023)은 의미론의 역할을 탐구합니다. 그들은 연쇄 추론이 사전 학습 중에 도입된 의미론적 지식에 크게 의존하며 상징적 추론에서는 성능이 저조하다는 것을 발견했습니다.