Data Optimal Regime.Unlike prior works that train language models in either "compute optimal regime" [HBM\({}^{+}\)22] or "over-train regime", we mainly focus on the quality of data for a _given scale_.2 We try to calibrate the training data to be closer to the "data optimal" regime for small models. In particular, we filter the web data to contain the correct level of "knowledge" and keep more web pages that could potentially improve the "reasoning ability" for the model. As an example, the result of a game in premier league in a particular day might be good training data for frontier models, but we need to remove such information to leave more model capacity for "reasoning" for the mini size models. We compare our approach with Llama-2 in Figure 2.
데이터 최적 Regime. "계산 최적 Regime"[HBM\({}^{+}\)22] 또는 "과잉 훈련 Regime"에서 언어 모델을 훈련하는 이전 작업과 달리, 우리는 주로 _주어진 규모_에 대한 데이터의 품질에 초점을 맞춥니다. 우리는 소형 모델에 대해 "데이터 최적" Regime에 더 가깝게 훈련 데이터를 보정하기 위해 노력합니다. 특히, 웹 데이터에 올바른 수준의 "지식"이 포함되도록 필터링하고 모델의 "reasoning ability"를 잠재적으로 향상시킬 수 있는 웹 페이지를 더 많이 유지합니다. 예를 들어, 특정 날짜의 프리미어 리그 경기 결과는 프론티어 모델에 좋은 훈련 데이터가 될 수 있지만, 미니 크기 모델의 "reasoning"을 위해 더 많은 모델 용량을 확보하기 위해서는 이러한 정보를 제거해야 합니다. 그림 2에서 우리의 접근 방식을 Llama-2와 비교합니다.
데이터 최적 레짐. "계산 최적 레짐"[HBM\({}^{+}\)22] 또는 "과잉 훈련 레짐"에서 언어 모델을 훈련하는 이전 작업과 달리, 우리는 주로 _주어진 규모_에 대한 데이터의 품질에 초점을 맞춥니다.2 우리는 소형 모델에 대해 "데이터 최적" 레짐에 더 가깝게 훈련 데이터를 보정하기 위해 노력합니다. 특히, 웹 데이터에 올바른 수준의 "지식"이 포함되도록 필터링하고 모델의 "추론 능력"을 잠재적으로 향상시킬 수 있는 웹 페이지를 더 많이 유지합니다. 예를 들어, 특정 날짜의 프리미어 리그 경기 결과는 프론티어 모델에 좋은 훈련 데이터가 될 수 있지만, 미니 크기 모델의 "추론"을 위해 더 많은 모델 용량을 확보하기 위해서는 이러한 정보를 제거해야 합니다. 그림 2에서 우리의 접근 방식을 Llama-2와 비교합니다.