Mathematical capabilities have long been considered so challenging that they are thought to emerge in common language models only at a very large scale. For instance, studies by (Wei et al., 2022, 2020) suggest that only models with size exceeding 50 billion parameters can attain meaningful accuracy or benefit from chain-of-thought processing on math problems. A strategy to equip smaller language models with mathematical abilities involves creating math-specific base models trained on hundreds of billions of math-related pre-training data (Lewkowycz et al., 2022; Azerbayev et al., 2023). However, the accuracy of such models remains modest; for example, Lemma-7B (Azerbayev et al., 2023) only achieves 36.4% on the GSM8K dataset (Cobbe et al., 2021) and 18.0% on the MATH dataset (Hendrycks et al., 2021).
수학적 능력은 오랫동안 매우 어려운 것으로 간주되어 일반적인 Large Language Models (LLMs)에서 매우 큰 규모에서만 나타날 수 있다고 생각되어 왔습니다. 예를 들어, (Wei et al., 2022, 2020)의 연구에 따르면 500억 개 이상의 파라미터를 가진 모델에서만 수학 문제에 대한 의미 있는 정확도를 달성하거나 chain-of-thought processing의 이점을 누릴 수 있다고 합니다. 더 작은 언어 모델에 수학적 능력을 부여하는 전략에는 수십억 개의 수학 관련 사전 학습 데이터에 대해 학습된 수학 특화 base models을 만드는 것이 포함됩니다(Lewkowycz et al., 2022; Azerbayev et al., 2023). 그러나 이러한 모델의 정확도는 미미한 수준에 머물러 있습니다. 예를 들어, Lemma-7B(Azerbayev et al., 2023)는 GSM8K 데이터 세트(Cobbe et al., 2021)에서 36.4%, MATH 데이터 세트(Hendrycks et al., 2021)에서 18.0%의 정확도만 달성합니다.
수학적 능력은 오랫동안 매우 어려운 것으로 간주되어 일반적인 언어 모델에서 매우 큰 규모에서만 나타날 수 있다고 생각되어 왔습니다. 예를 들어, (Wei et al., 2022, 2020)의 연구에 따르면 500억 개 이상의 파라미터를 가진 모델에서만 수학 문제에 대한 의미 있는 정확도를 달성하거나 생각의 연쇄 처리의 이점을 누릴 수 있다고 합니다. 더 작은 언어 모델에 수학적 능력을 부여하는 전략에는 수십억 개의 수학 관련 사전 학습 데이터에 대해 학습된 수학 특화 기반 모델을 만드는 것이 포함됩니다(Lewkowycz et al., 2022; Azerbayev et al., 2023). 그러나 이러한 모델의 정확도는 미미한 수준에 머물러 있습니다. 예를 들어, 레마-7B(Azerbayev et al., 2023)는 GSM8K 데이터 세트(Cobbe et al., 2021)에서 36.4%, MATH 데이터 세트(Hendrycks et al., 2021)에서 18.0%의 정확도만 달성합니다.