**Training & Evaluation Setup.** We use a randomly sampled subset of training data from two datasets (15K samples per data) for model training. After filtering unqualified reasoning, it results in 23K samples. All training-related hyperparameters can be found in SS11.3. According to our preliminary experiments, the impact of CoT prompting appeared to be diminished due to two potential factors: (1) questions being overly simplistic, obscuring the significance of intermediate reasoning processes; (2) LMs already possessing pertinent background information (e.g., Flan-T5 is fine-tuned on various question-answering datasets). To prevent models from answering based on parametric memory, we attempt to make the existing evaluation data more challenging, similar to the approaches taken by Ye and Durrett (2022) and Zhao et al. (2023).
**Training & Evaluation Setup.** 모델 학습을 위해 두 데이터 세트(데이터당 15K 샘플)에서 무작위로 샘플링된 훈련 데이터의 하위 집합을 사용합니다. 부적격 추론을 필터링한 결과 23K개의 샘플이 생성됩니다. 모든 훈련 관련 하이퍼파라미터는 SS11.3에서 확인할 수 있습니다. 예비 실험에 따르면, 두 가지 잠재적 요인으로 인해 CoT prompting의 영향이 감소하는 것으로 나타났습니다: (1) 질문이 지나치게 단순하여 중간 추론 과정의 중요성을 가리고 있음, (2) LMs이 이미 관련 배경 정보를 보유하고 있음(예: Flan-T5는 다양한 question-answering 데이터 세트에 대해 Fine-tuning됨). 모델이 파라메트릭 메모리를 기반으로 답변하는 것을 방지하기 위해 Ye와 Durrett(2022), Zhao 등(2023)의 접근 방식과 유사하게 기존 평가 데이터를 더욱 까다롭게 만들려고 노력했습니다.
**훈련 및 평가 설정.** 모델 학습을 위해 두 데이터 세트(데이터당 15K 샘플)에서 무작위로 샘플링된 훈련 데이터의 하위 집합을 사용합니다. 부적격 추론을 필터링한 결과 23K개의 샘플이 생성됩니다. 모든 훈련 관련 하이퍼파라미터는 SS11.3에서 확인할 수 있습니다. 예비 실험에 따르면, 두 가지 잠재적 요인으로 인해 CoT 프롬프트의 영향이 감소하는 것으로 나타났습니다: (1) 질문이 지나치게 단순하여 중간 추론 과정의 중요성을 가리고 있음, (2) LM이 이미 관련 배경 정보를 보유하고 있음(예: Flan-T5는 다양한 질문-답변 데이터 세트에 대해 미세 조정됨). 모델이 파라메트릭 메모리를 기반으로 답변하는 것을 방지하기 위해 Ye와 Durrett(2022), Zhao 등(2023)의 접근 방식과 유사하게 기존 평가 데이터를 더욱 까다롭게 만들려고 노력했습니다.