The studies above adopt a shared paradigm wherein reasoning chains are generated through LLMs possessing superior reasoning capabilities. These reasoning chains are then distilled into smaller models. The effectiveness of the distillation process is improved by augmenting the sampling strategy from the larger model, for example, through the utilization of multiple sampling paths, consistency, or contrastive decoding, which leads to improved diversity and accuracy in the generated reasoning chains, ultimately benefiting the distillation process to smaller models. It's notable that language models have intricate tradeoffs and complex balances associated with multidimensional capabilities. Fu et al. (2023) emphasizes that increasing task-specific chain-of-thought capabilities through distillation may also adversely impact the models' performance in solving generalized problems.
위의 연구들은 우수한 추론 능력을 가진 LLM을 통해 추론 체인을 생성하는 공유 패러다임을 채택합니다. 그런 다음 이 추론 체인을 더 작은 모델로 distillation합니다. distillation 프로세스의 효율성은 더 큰 모델에서 샘플링 전략을 보강하여 개선됩니다(예: 여러 샘플링 경로, 일관성 또는 대조 샘플링 전략을 활용하여 생성된 추론 체인의 다양성과 정확성을 향상시켜 궁극적으로 소형 모델로의 distillation 프로세스에 도움이 됩니다. 언어 모델에는 다차원적 기능과 관련된 복잡한 트레이드오프와 균형이 존재한다는 점은 주목할 만합니다. Fu et al.(2023)은 distillation을 통해 과제별 chain-of-thought 능력을 높이면 일반화된 문제 해결에 있어 모델의 성능에 부정적인 영향을 미칠 수도 있다고 강조합니다.
위의 연구들은 우수한 추론 능력을 가진 LLM을 통해 추론 체인을 생성하는 공유 패러다임을 채택합니다. 그런 다음 이 추론 체인을 더 작은 모델로 증류합니다. 증류 프로세스의 효율성은 더 큰 모델에서 샘플링 전략을 보강하여 개선됩니다(예: 여러 샘플링 경로, 일관성 또는 대조 샘플링 전략을 활용하여 생성된 추론 체인의 다양성과 정확성을 향상시켜 궁극적으로 소형 모델로의 증류 프로세스에 도움이 됩니다. 언어 모델에는 다차원적 기능과 관련된 복잡한 트레이드오프와 균형이 존재한다는 점은 주목할 만합니다. Fu et al.(2023)은 증류를 통해 과제별 연쇄 사고 능력을 높이면 일반화된 문제 해결에 있어 모델의 성능에 부정적인 영향을 미칠 수도 있다고 강조합니다.