Others work analyze theoretically, exploring the underlying principles and internal mechanisms. Li et al. (2023) reconstructs chain-of-thought reasoning as a multi-step combinatorial function. Theydemonstrate that chain-of-thought reduces the complexity of in-context learning to tackle complex questions. Feng et al. (2023) theoretically proves that a fixed-size Transformer is sufficient for computational tasks and dynamic planning with chain-of-thought. Merrill and Sabharwal (2023) observes that chain-of-thought can boost reasoning ability, with the extent of improvement increasing as the number of intermediate reasoning steps grows. Wu et al. (2023) leverages gradient-based feature attribution methods to explore the impact of chain-of-thought on outputs. The results indicate that chain-of-thought exhibits robustness to perturbations and variations in the question. In addition, there are some claims suggesting that the chain-of-thought ability stems from code data during the pre-training phase (Madaan et al., 2022; Zhang et al., 2023c), but there is currently no systematic work to substantiate this opinion.
다른 연구들은 근본적인 원리와 내부 메커니즘을 탐구하는 이론적 연구를 수행합니다. Li et al.(2023)은 chain-of-thought reasoning을 다단계 조합 함수로 재구성합니다. 이들은 chain-of-thought가 복잡한 질문을 해결하기 위해 In-Context Learning의 복잡성을 줄여준다는 것을 입증합니다. Feng et al.(2023)은 고정 크기의 Transformer가 계산 작업과 chain-of-thought를 통한 동적 계획에 충분하다는 것을 이론적으로 증명합니다. Merrill과 Sabharwal(2023)은 chain-of-thought가 추론 능력을 향상시킬 수 있으며, 개선 정도는 중간 추론 단계의 수가 증가함에 따라 증가한다고 관찰합니다. Wu et al.(2023)은 gradient-based feature attribution methods를 활용하여 chain-of-thought가 출력에 미치는 영향을 탐색합니다. 그 결과, chain-of-thought는 질문의 섭동과 변화에 대한 Robustness를 보여줍니다. 또한 chain-of-thought 능력은 사전 학습 단계에서 코드 데이터에서 비롯된다는 주장도 있지만(Madaan et al., 2022; Zhang et al., 2023c), 현재 이러한 의견을 뒷받침할 체계적인 연구는 없습니다.
다른 연구들은 근본적인 원리와 내부 메커니즘을 탐구하는 이론적 연구를 수행합니다. Li et al.(2023)은 생각의 연쇄 추론을 다단계 조합 함수로 재구성합니다. 이들은 생각의 연쇄가 복잡한 질문을 해결하기 위해 컨텍스트 내 학습의 복잡성을 줄여준다는 것을 입증합니다. Feng et al.(2023)은 고정 크기의 트랜스포머가 계산 작업과 생각의 연쇄를 통한 동적 계획에 충분하다는 것을 이론적으로 증명합니다. Merrill과 Sabharwal(2023)은 생각의 연쇄가 추론 능력을 향상시킬 수 있으며, 개선 정도는 중간 추론 단계의 수가 증가함에 따라 증가한다고 관찰합니다. Wu et al.(2023)은 그라디언트 기반 특징 기여 방법을 활용하여 생각의 연쇄가 출력에 미치는 영향을 탐색합니다. 그 결과, 생각의 연쇄는 질문의 섭동과 변화에 대한 강건성을 보여줍니다. 또한 사고의 연쇄 능력은 사전 학습 단계에서 코드 데이터에서 비롯된다는 주장도 있지만(Madaan et al., 2022; Zhang et al., 2023c), 현재 이러한 의견을 뒷받침할 체계적인 연구는 없습니다.