\(\bullet\)_Mathematics_. Liemma [239] is proposed to enhance the mathematical capacities of general-purpose LLMs. It is developed based on CodeLLaMA. Although CodeLLaMA [235] mainly focuses on the coding ability, experiments have shown that it performs better than its base model LLaMA 2 on mathematics benchmarks [239]. Based on CodeLLaMA, Lemma is continually trained on mixtures of scientific papers, web data containing mathematical text and code (2T general tokens \(\rightarrow\) 500B code-heavy tokens \(\rightarrow\) 50\(\sim\)200B math-heavy tokens). Note that the pre-training data of Lemma also contains 5% general domain data as a form of regularization.
\(\bullet\)_수학_. Lemma [239]는 범용 LLM의 수학적 역량을 강화하기 위해 제안되었습니다. CodeLLaMA를 기반으로 개발되었습니다. CodeLLaMA [235]는 주로 코딩 능력에 중점을 두고 있지만, 실험 결과 수학 벤치마크에서 기본 모델인 LLaMA 2보다 더 나은 성능을 보이는 것으로 나타났습니다[239]. CodeLLaMA를 기반으로 한 Lemma는 과학 논문, 수학 텍스트 및 코드가 포함된 웹 데이터(일반 토큰 2T \(\우측수렴\) 코드 중심 토큰 500B \(\우측수렴\) 수학 중심 토큰 50\(\sim\)200B)의 혼합물에 대해 지속적으로 학습합니다. Lemma의 사전 학습 데이터에는 정규화의 한 형태로 일반 도메인 데이터 5%도 포함되어 있습니다.
\(\bullet\)_수학_. 리마 [239]는 범용 LLM의 수학적 역량을 강화하기 위해 제안되었습니다. CodeLLaMA를 기반으로 개발되었습니다. CodeLLaMA [235]는 주로 코딩 능력에 중점을 두고 있지만, 실험 결과 수학 벤치마크에서 기본 모델인 LLaMA 2보다 더 나은 성능을 보이는 것으로 나타났습니다[239]. CodeLLaMA를 기반으로 한 레마는 과학 논문, 수학 텍스트 및 코드가 포함된 웹 데이터(일반 토큰 2T \(\우측수렴\) 코드 중심 토큰 500B \(\우측수렴\) 수학 중심 토큰 50\(\sim\)200B)의 혼합물에 대해 지속적으로 학습합니다. 레마의 사전 학습 데이터에는 정규화의 한 형태로 일반 도메인 데이터 5%도 포함되어 있습니다.