We train models at smaller scales and demonstrate improvement. In particular we train a 350M GPT-2-medium architecture for a total of 75B tokens.
우리는 더 작은 규모에서 모델을 훈련하고 개선을 입증합니다. 특히, 우리는 총 75B 토큰에 대해 350M GPT-2-medium 아키텍처를 훈련합니다.
더 작은 규모로 모델을 훈련하고 개선 효과를 입증합니다. 특히 총 750억 토큰에 대해 3억 5,000만 개의 GPT-2-medium 아키텍처를 훈련합니다.