Large Language ModelsLarge language models Brown et al. (2020); Achiam et al. (2023); Touvron et al. (2023, 2023) have made significant achievements, with impressive performance on a wide range of tasks. Currently, closed-source large language models, represented by GPT Brown et al. (2020); Achiam et al. (2023), Gemini Team et al. (2023), Groke (xAI, 2023), and Claude-2 (Anthropic, 2023), are the most advanced models in terms of performance. However, open-source models, represented by LLaMA Touvron et al. (2023), LLaMA-2 Touvron et al. (2023) and Mixtral Jiang et al. (2024), have also progressed rapidly, and have even shown competitive performance with the closed-source models on some tasks. Our work, which aims to improve the performance of open-source LLMs on mathematical tasks by fine-tuning them on synthetic data.
Large Language ModelsLarge language models Brown et al. (2020); Achiam et al. (2023); Touvron et al. (2023, 2023)은 다양한 작업에서 인상적인 성능을 발휘하며 상당한 성과를 거두었습니다. 현재 비공개 Large Language Models인 GPT Brown et al. (2020); Achiam et al. (2023), Gemini Team et al. (2023), Groke(xAI, 2023), Claude-2(Anthropic, 2023)가 성능 측면에서 가장 진보된 모델입니다. 그러나 LLaMA Touvron et al. (2023), LLaMA-2 Touvron et al. (2023) 및 Mixtral Jiang et al. (2024)로 대표되는 오픈 소스 모델도 빠르게 발전하여 일부 작업에서 비공개 모델과 경쟁력 있는 성능을 보여주기도 했습니다. 저희 연구는 합성 데이터에 대해 Fine-tuning하여 수학적 작업에서 오픈 소스 LLM의 성능을 개선하는 것을 목표로 합니다.
대규모 언어 모델대규모 언어 모델 Brown et al. (2020); Achiam et al. (2023); Touvron et al. (2023, 2023)은 다양한 작업에서 인상적인 성능을 발휘하며 상당한 성과를 거두었습니다. 현재 비공개 대규모 언어 모델인 GPT Brown et al. (2020); Achiam et al. (2023), Gemini Team et al. (2023), Groke(xAI, 2023), Claude-2(Anthropic, 2023)가 성능 측면에서 가장 진보된 모델입니다. 그러나 LLaMA Touvron et al. (2023), LLaMA-2 Touvron et al. (2023) 및 Mixtral Jiang et al. (2024)로 대표되는 오픈 소스 모델도 빠르게 발전하여 일부 작업에서 비공개 모델과 경쟁력 있는 성능을 보여주기도 했습니다. 저희 연구는 합성 데이터에 대해 미세 조정하여 수학적 작업에서 오픈 소스 LLM의 성능을 개선하는 것을 목표로 합니다.