**Rationale Distillation.** For computation efficiency or task performance, recent literature has explored methods to improve small LMs' reasoning abilities. Li et al. (2023); Shridhar et al. (2023); Ma et al. (2023) have experimented with rationale distillation, where a small student LM learns from a large teacher LM to generate CoT rationales. While these studies have mainly concentrated on comparing its performance in downstream tasks against that of large LMs, there has been limited investigation into addressing errors in the generated rationales that might have been inherited from the teacher model.
**Rationale Distillation.** 계산 효율성이나 작업 성능을 위해 최근 문헌에서는 소형 LMs의 추론 능력을 향상시키는 방법을 모색해 왔습니다. Li et al.(2023); Shridhar et al.(2023); Ma et al.(2023)은 대규모 교사 LM에서 학습하여 CoT rationales를 생성하는 소규모 학생 LM을 통해 Rationale Distillation을 실험했습니다. 이러한 연구는 주로 다운스트림 작업에서의 성능을 대규모 LMs와 비교하는 데 집중해 왔지만, 교사 모델에서 유전되었을 수 있는 생성된 rationales의 오류를 해결하는 데는 제한적인 조사가 이루어졌습니다.
**근거 증류**. 계산 효율성이나 작업 성능을 위해 최근 문헌에서는 소형 LM의 추론 능력을 향상시키는 방법을 모색해 왔습니다. Li et al.(2023); Shridhar et al.(2023); Ma et al.(2023)은 대규모 교사 LM에서 학습하여 CoT 근거를 생성하는 소규모 학생 LM을 통해 근거 증류를 실험했습니다. 이러한 연구는 주로 다운스트림 작업에서의 성능을 대규모 LM과 비교하는 데 집중해 왔지만, 교사 모델에서 유전되었을 수 있는 생성된 근거의 오류를 해결하는 데는 제한적인 조사가 이루어졌습니다.