**Symbolic Reasoning44.** The symbolic reasoning tasks mainly focus on manipulating the symbols in a formal rule setting to fulfill some specific goal [51], where the operations and rules may have never been seen by LLMs during pretraining. Existing work [33, 439, 505] commonly evaluates LLMs on the task of last letter concatenation and coin flip, where the evaluation examples require the same reasoning steps as the in-context examples (called _in-domain test_) or more steps (called _out-of-domain test_). For an example of the out-of-domain test, LLMs could only see the examples with two words in context, but it requires LLMs to concatenate the last letters of three or more words. Typically, the accuracy of the generated symbols is adopted to evaluate the performance of LLMs on these tasks. Thus, LLMs need to understand the semantic relations among the symbolic operations and their composition in complex scenarios. However, under the out-of-domain setting, as LLMs have not seen the complex compositions of symbolic operations and rules (_e.g.,_ twice the number of operations in context examples), it is hard for LLMs to capture their accurate meanings. To solve this issue, existing studies incorporate scratchpad [591, 676] and tutor [677] strategies to help LLMs better manipulate symbolic operations, for generating longer and more complex reasoning processes. Another line of research work utilizes the formal programming language to represent the symbolic operations and rules, which requires LLMs to generate code and perform the reasoning process by executing it with external interpreters. Such a way can decompose the complex reasoning process into code synthesis and program execution for LLMs and interpreters, respectively, leading to a simplified reasoning process with yet more accurate results [443].
**기호 추론44.** 기호 추론 과제는 주로 공식적인 규칙 설정에서 기호를 조작하여 특정 목표를 달성하는 데 중점을 두며[51], 여기서 연산과 규칙은 사전 학습 중에 LLM이 본 적이 없는 것일 수 있습니다. 기존 연구[33, 439, 505]에서는 일반적으로 마지막 문자 연결 및 동전 던지기 과제에 대해 LLM을 평가하는데, 평가 예제는 상황에 맞는 예제(_in-domain test_라고 함)와 동일한 추론 단계 또는 더 많은 단계(_out-of-domain test_라고 함)를 필요로 합니다. 도메인 테스트의 예로, LLM은 문맥에서 두 개의 단어가 포함된 예제만 볼 수 있지만, LLM은 세 개 이상의 단어의 마지막 글자를 연결해야 합니다. 일반적으로 생성된 기호의 정확도를 채택하여 이러한 작업에서 LLM의 성능을 평가합니다. 따라서 LLM은 복잡한 시나리오에서 기호 연산과 그 구성 간의 의미 관계를 이해해야 합니다. 그러나 도메인 외 설정에서는 LLM이 기호 연산과 규칙의 복잡한 구성(_예:_ 문맥 예제에서 연산 횟수의 두 배)을 본 적이 없기 때문에 정확한 의미를 파악하기 어렵습니다. 이 문제를 해결하기 위해 기존 연구에서는 scratchpad[591, 676] 및 tutor[677] 전략을 통합하여 LLM이 기호 연산을 더 잘 조작할 수 있도록 하여 더 길고 복잡한 추론 과정을 생성합니다. 또 다른 연구 작업에서는 공식 프로그래밍 언어를 활용하여 기호 연산과 규칙을 표현하는데, 이를 위해 LLM은 코드를 생성하고 외부 인터프리터를 통해 코드를 실행하여 추론 과정을 수행해야 합니다. 이러한 방식은 복잡한 추론 과정을 각각 LLM과 인터프리터가 코드 합성과 프로그램 실행으로 분해할 수 있으므로 더 간단한 추론 과정과 더 정확한 결과를 얻을 수 있습니다[443].
**기호 추론44.** 기호 추론 과제는 주로 공식적인 규칙 설정에서 기호를 조작하여 특정 목표를 달성하는 데 중점을 두며[51], 여기서 연산과 규칙은 사전 학습 중에 LLM이 본 적이 없는 것일 수 있습니다. 기존 연구[33, 439, 505]에서는 일반적으로 마지막 문자 연결 및 동전 던지기 과제에 대해 LLM을 평가하는데, 평가 예제는 상황에 맞는 예제(in-domain test_라고 함)와 동일한 추론 단계 또는 더 많은 단계(out-of-domain test_라고 함)를 필요로 합니다. 도메인 테스트의 예로, LLM은 문맥에서 두 개의 단어가 포함된 예제만 볼 수 있지만, LLM은 세 개 이상의 단어의 마지막 글자를 연결해야 합니다. 일반적으로 생성된 기호의 정확도를 채택하여 이러한 작업에서 LLM의 성능을 평가합니다. 따라서 LLM은 복잡한 시나리오에서 기호 연산과 그 구성 간의 의미 관계를 이해해야 합니다. 그러나 도메인 외 설정에서는 LLM이 기호 연산과 규칙의 복잡한 구성(_예:_ 문맥 예제에서 연산 횟수의 두 배)을 본 적이 없기 때문에 정확한 의미를 파악하기 어렵습니다. 이 문제를 해결하기 위해 기존 연구에서는 스크래치패드[591, 676] 및 튜터[677] 전략을 통합하여 LLM이 기호 연산을 더 잘 조작할 수 있도록 하여 더 길고 복잡한 추론 과정을 생성합니다. 또 다른 연구 작업에서는 공식 프로그래밍 언어를 활용하여 기호 연산과 규칙을 표현하는데, 이를 위해 LLM은 코드를 생성하고 외부 인터프리터를 통해 코드를 실행하여 추론 과정을 수행해야 합니다. 이러한 방식은 복잡한 추론 과정을 각각 LLM과 인터프리터가 코드 합성과 프로그램 실행으로 분해할 수 있으므로 더 간단한 추론 과정과 더 정확한 결과를 얻을 수 있습니다[443].