1. The model follows the standard Transformer architecture [17] without obvious bottlenecks 4, which has been the de facto architecture in large language models such as GPT [1], Llama [13] and Gemini [14]23 Footnote 4: _e.g._, a limited amount of attention heads or inadequate layer normalization, which we find to make destabilize the estimation process of scaling laws. 2. We assume access to an extensive set of training data and the training process never re-uses the data. This reflects the typical scenario in model pre-training since the proliferation of online platforms and digital content has contributed to the abundance of available data
3. The training data is uniformly distributed across the training steps. This is also a reasonable assumption since the training data is often randomly shuffled in the pre-training stage, unless special tricks such as curriculum learning [1] is applied.
1. 이 모델은 GPT [1], Llama [13], Gemini [14]와 같은 Large Language Models에서 사실상 표준 인프라로 사용되고 있는 표준 Transformer 아키텍처 [17]를 따릅니다.23 각주 4: 예를 들어, 제한된 양의 attention heads 또는 부적절한 layer normalization은 scaling laws의 추정 과정을 불안정하게 만드는 것으로 나타났습니다. 2. 광범위한 훈련 데이터 세트에 대한 액세스 권한을 가정하며, 훈련 과정에서 데이터를 재사용하지 않습니다. 이는 온라인 플랫폼과 디지털 콘텐츠의 확산으로 인해 사용 가능한 데이터가 풍부해진 이후 모델 사전 학습의 일반적인 시나리오를 반영합니다. 3. 훈련 데이터는 훈련 단계에 걸쳐 균일하게 분포됩니다. 이는 curriculum learning [1]과 같은 특별한 트릭이 적용되지 않는 한, 훈련 데이터가 사전 학습 단계에서 무작위로 셔플되는 경우가 많기 때문에 합리적인 가정이기도 합니다.
1. 이 모델은 GPT [1], 라마 [13], 지미니 [14]와 같은 대형 언어 모델에서 사실상 표준 인프라로 사용되고 있는 표준 트랜스포머 아키텍처 [17]를 따릅니다.23 각주 4: 예를 들어, 제한된 양의 주의 헤드 또는 부적절한 레이어 정규화는 스케일링 법칙의 추정 과정을 불안정하게 만드는 것으로 나타났습니다. 2. 광범위한 훈련 데이터 세트에 대한 액세스 권한을 가정하며, 훈련 과정에서 데이터를 재사용하지 않습니다. 이는 온라인 플랫폼과 디지털 콘텐츠의 확산으로 인해 사용 가능한 데이터가 풍부해진 이후 모델 사전 학습의 일반적인 시나리오를 반영합니다.3. 훈련 데이터는 훈련 단계에 걸쳐 균일하게 분포됩니다. 이는 커리큘럼 학습 [1]과 같은 특별한 트릭이 적용되지 않는 한, 훈련 데이터가 사전 학습 단계에서 무작위로 셔플되는 경우가 많기 때문에 합리적인 가정이기도 합니다.