\(\bullet\)_Complex reasoning_. For complex reasoning, we evaluate the comparison models on OpenbookQA [566], HelaSwag [582], and SocialIQA [581] for knowledge reasoning; Colored Objects [70] and Penguins in the Table [70] for symbolic reasoning; GSM8k [184] and MATH [364] for mathematical reasoning. We compute the _accuracy_ for OpenbookQA, HellaSwag, and SocialIQA; _solve rate_ for Colored Objects and Penguins in the Table; and _accuracy_ for GSM8k and MATH. For knowledge reasoning tasks, we evaluate the zero-shot performance, since they are all QA tasks that can be solved in a zero-shot setting. For complex symbolic reasoning and mathematical reasoning tasks, we leverage 3-shot in-context exemplars to better elicit LLMs to accomplish them. Following existing work [443, 33], we also utilize the chain-of-thought prompting strategy for better solving the mathematical reasoning tasks.
\(\bullet\)_복잡한 추론_. 복잡한 추론의 경우, 지식 추론을 위해 OpenbookQA [566], HelaSwag [582], SocialIQA [581]에 대한 비교 모델을 평가하고, 기호 추론을 위해 Colored Objects [70] 및 Penguins in the Table [70]을, 수학 추론을 위해 GSM8k [184] 및 MATH [364]를 평가합니다. OpenbookQA, HellaSwag 및 SocialIQA의 경우 _정확도_, Colored Objects 및 Penguins in the Table의 경우 _해결률_, GSM8k 및 MATH의 경우 _정확도_를 계산합니다. 지식 추론 과제의 경우, 모두 zero-shot 설정에서 해결할 수 있는 QA 과제이므로 zero-shot 성능을 평가합니다. 복잡한 기호 추론 및 수학적 추론 과제의 경우, 3-shot In-Context 예시를 활용하여 LLM이 이를 수행하도록 더 잘 이끌어냅니다. 기존 작업 [443, 33]에 따라 수학적 추론 과제를 더 잘 해결하기 위해 chain-of-thought prompting 전략도 활용합니다.
\(\bullet\)_복잡한 추론_. 복잡한 추론의 경우, 지식 추론을 위해 OpenbookQA [566], HelaSwag [582], SocialIQA [581]에 대한 비교 모델을 평가하고, 기호 추론을 위해 Colored Objects [70] 및 Penguins in the Table [70]을, 수학 추론을 위해 GSM8k [184] 및 MATH [364]를 평가합니다. OpenbookQA, HellaSwag 및 SocialIQA의 경우 _정확도_, Colored Objects 및 Penguins in the Table의 경우 _해결률_, GSM8k 및 MATH의 경우 _정확도_를 계산합니다. 지식 추론 과제의 경우, 모두 제로 샷 설정에서 해결할 수 있는 QA 과제이므로 제로 샷 성능을 평가합니다. 복잡한 기호 추론 및 수학적 추론 과제의 경우, 3샷 인컨텍스트 예시를 활용하여 LLM이 이를 수행하도록 더 잘 이끌어냅니다. 기존 작업 [443, 33]에 따라 수학적 추론 과제를 더 잘 해결하기 위해 생각의 사슬 프롬프트 전략도 활용합니다.