**Knowledge Reasoning.** The knowledge reasoning tasks rely on logical relations and evidence about factual knowledge to answer the given question. Existing work mainly uses specific datasets to evaluate the reasoning capacity of the corresponding type of knowledge, _e.g.,_ CSQA [504]/StrategyQA [185] for commonsense knowledge reasoning and ScienceQA [565] for science knowledge reasoning. In addition to the accuracy of the predicted results, existing work [565] has also evaluated the quality of the generated reasoning process, via automatic metrics (_e.g., BLEU) or human evaluation. Typically, these tasks require LLMs to perform step-by-step reasoning based on factual knowledge, until reaching the answer to the given question. To elicit the step-by-step reasoning ability, chain-of-thought (CoT) prompting strategy [33] has been proposed for enhancing the complex reasoning capacity of LLMs. As discussed in Section 6.3, CoT involves the intermediate reasoning steps, which can be manually created [33] or automatically generated [674], into the prompts to guide LLMs to perform multi-step reasoning. Such a way largely improves the reasoning performance of LLMs, leading to new state-of-the-art results on several complex knowledge reasoning tasks [33, 56, 526]. Further, after reformulating knowledge reasoning tasks into code generation tasks, researchers have found that the performance of LLMs can be further improved [211], especially with the LLMs pre-trained on code. However, due to the complexity of knowledge reasoning tasks, the performance of current LLMs still lags behind human results on tasks such as commonsense reasoning [675, 56, 33]. As a common type of mistakes, LLMs might generate inaccurate intermediate steps, leading to a wrong final result. To address this issue, existing work has proposed special decoding or ensemble strategies to improve the accuracy of the whole reasoning chain [436, 437].
**Knowledge Reasoning.** 지식 추론 과제는 주어진 질문에 답하기 위해 사실적 지식에 대한 논리적 관계와 증거에 의존합니다. 기존 연구에서는 주로 특정 데이터 세트를 사용하여 상식 지식 추론을 위한 CSQA [504]/StrategyQA [185], 과학 지식 추론을 위한 ScienceQA [565] 등 해당 유형의 지식 추론 능력을 평가합니다. 기존 연구 [565]는 예측된 결과의 정확도 외에도 자동 메트릭(예: BLEU) 또는 사람의 평가를 통해 생성된 추론 과정의 품질도 평가했습니다. 일반적으로 이러한 과제에서는 주어진 질문에 대한 답에 도달할 때까지 LLM이 사실적 지식을 기반으로 단계별 추론을 수행해야 합니다. 단계별 추론 능력을 이끌어내기 위해 LLM의 복잡한 추론 능력을 향상시키기 위해 Chain-of-Thought (CoT) 프롬프트 전략 [33]이 제안되었습니다. 섹션 6.3에서 논의한 바와 같이, CoT는 중간 추론 단계를 프롬프트에 수동으로 생성 [33]하거나 자동으로 생성 [674]하여 LLM이 다단계 추론을 수행하도록 안내합니다. 이러한 방식은 LLM의 추론 성능을 크게 향상시켜 여러 복잡한 지식 추론 작업 [33, 56, 526]에서 새로운 최신 결과를 도출했습니다. 또한, 연구자들은 지식 추론 과제를 코드 생성 과제로 재구성한 후, 특히 코드에 대해 사전 학습된 LLM의 경우 LLM의 성능을 더욱 향상시킬 수 있다는 사실을 발견했습니다 [211]. 그러나 지식 추론 과제의 복잡성으로 인해 현재 LLM의 성능은 상식 추론과 같은 과제에서 인간의 결과에 크게 뒤쳐져 있습니다 [675, 56, 33]. 일반적인 실수 유형으로, LLM이 부정확한 중간 단계를 생성하여 최종 결과가 잘못될 수 있습니다. 이 문제를 해결하기 위해 기존 연구에서는 전체 추론 체인의 정확도를 향상시키기 위해 특수 디코딩 또는 앙상블 전략을 제안했습니다 [436, 437].
**지식 추론**. 지식 추론 과제는 주어진 질문에 답하기 위해 사실적 지식에 대한 논리적 관계와 증거에 의존합니다. 기존 연구에서는 주로 특정 데이터 세트를 사용하여 상식 지식 추론을 위한 CSQA [504]/StrategyQA [185], 과학 지식 추론을 위한 ScienceQA [565] 등 해당 유형의 지식 추론 능력을 평가합니다. 기존 연구 [565]는 예측된 결과의 정확도 외에도 자동 메트릭(예: BLEU) 또는 사람의 평가를 통해 생성된 추론 과정의 품질도 평가했습니다. 일반적으로 이러한 과제에서는 주어진 질문에 대한 답에 도달할 때까지 LLM이 사실적 지식을 기반으로 단계별 추론을 수행해야 합니다. 단계별 추론 능력을 이끌어내기 위해 LLM의 복잡한 추론 능력을 향상시키기 위해 생각의 사슬(CoT) 프롬프트 전략 [33]이 제안되었습니다. 섹션 6.3에서 논의한 바와 같이, CoT는 중간 추론 단계를 프롬프트에 수동으로 생성 [33]하거나 자동으로 생성 [674]하여 LLM이 다단계 추론을 수행하도록 안내합니다. 이러한 방식은 LLM의 추론 성능을 크게 향상시켜 여러 복잡한 지식 추론 작업 [33, 56, 526]에서 새로운 최신 결과를 도출했습니다. 또한, 연구자들은 지식 추론 과제를 코드 생성 과제로 재구성한 후, 특히 코드에 대해 사전 학습된 LLM의 경우 LLM의 성능을 더욱 향상시킬 수 있다는 사실을 발견했습니다 [211]. 그러나 지식 추론 과제의 복잡성으로 인해 현재 LLM의 성능은 상식 추론과 같은 과제에서 인간의 결과에 크게 뒤쳐져 있습니다 [675, 56, 33]. 일반적인 실수 유형으로, LLM이 부정확한 중간 단계를 생성하여 최종 결과가 잘못될 수 있습니다. 이 문제를 해결하기 위해 기존 연구에서는 전체 추론 체인의 정확도를 향상시키기 위해 특수 디코딩 또는 앙상블 전략을 제안했습니다 [436, 437].