Fine-tuned LLM for MathAnother sort of works Lightman et al. (2023); Luo et al. (2023); Azerbayev et al. (2023); Yue et al. (2023); Yu et al. (2023); An et al. (2023); Li et al. (2023); Gou et al. (2023) try to improve performance directly by training the model on mathematical data. A direct way is to use fine-tuning to improve models. One widely used method is to use synthetic data, which is very close to our approach: MetaMath Yu et al. (2023) presents to bootstrap questions to augment data. LeMA An et al. (2023) collects mistake-correction data pairs by using GPT-4 as a corrector. And MuggleMath Li et al. (2023) augments the GSM8K dataset by incorporating GPT-4 with a series of pre-defined operations. Compared to these synthetic data based efforts, our data synthetic method is much simpler and more scalable due to introduce less prior and constraint.
수학을 위한 Fine-tuned LLM 또 다른 종류의 워크 라이트먼 등(2023); 루오 등(2023); 아제바예프 등(2023); 위에 등(2023); 유 등(2023); 안 등(2023); 리 등(2023); Gou 등(2023)은 수학 데이터에 대한 모델 학습을 통해 성능을 직접 개선하려고 시도합니다. 직접적인 방법은 Fine-tuning을 사용하여 모델을 개선하는 것입니다. 널리 사용되는 방법 중 하나는 합성 데이터를 사용하는 것인데, 이는 우리의 접근 방식과 매우 유사합니다: MetaMath Yu 등(2023)은 데이터를 증강하기 위해 부트스트랩 질문을 제시합니다. LeMA An 등(2023)은 GPT-4를 수정자로 사용하여 실수 수정 데이터 쌍을 수집합니다. 그리고 MuggleMath Li 등(2023)은 일련의 사전 정의된 연산과 함께 GPT-4를 통합하여 GSM8K 데이터 세트를 확장합니다. 이러한 합성 데이터 기반 노력에 비해, 우리의 데이터 합성 방법은 선행 및 제약을 덜 도입하기 때문에 훨씬 더 간단하고 확장성이 뛰어납니다.
수학을 위한 미세 조정된 LLM또 다른 종류의 워크 라이트먼 등(2023); 루오 등(2023); 아제바예프 등(2023); 위에 등(2023); 유 등(2023); 안 등(2023); 리 등(2023); Gou 등(2023)은 수학 데이터에 대한 모델 학습을 통해 성능을 직접 개선하려고 시도합니다. 직접적인 방법은 미세 조정을 사용하여 모델을 개선하는 것입니다. 널리 사용되는 방법 중 하나는 합성 데이터를 사용하는 것인데, 이는 우리의 접근 방식과 매우 유사합니다: MetaMath Yu 등(2023)은 데이터를 증강하기 위해 부트스트랩 질문을 제시합니다. LeMA An 등(2023)은 GPT-4를 수정자로 사용하여 실수 수정 데이터 쌍을 수집합니다. 그리고 MuggleMath Li 등(2023)은 일련의 사전 정의된 연산과 함께 GPT-4를 통합하여 GSM8K 데이터 세트를 확장합니다. 이러한 합성 데이터 기반 노력에 비해, 우리의 데이터 합성 방법은 선행 및 제약을 덜 도입하기 때문에 훨씬 더 간단하고 확장성이 뛰어납니다.