We will now proceed to a more complex model, bringing us closer to capturing the _probabilistic_ and _autoregressive_ nature of LLMs (next token prediction). In this Section we will define the data generating process, define the new model (Hutter++), and establish that the original scaling law (with clean data) still holds. We then proceed to show similar loss of scaling for AI-data.
이제 좀 더 복잡한 모델로 진행하여 LLM의 _probabilistic_ 및 _autoregressive_ 특성(다음 토큰 예측)을 더 가깝게 포착할 수 있도록 하겠습니다. 이 섹션에서는 데이터 생성 프로세스를 정의하고, 새로운 모델(Hutter++)을 정의하고, 원래의 scaling law (깨끗한 데이터)이 여전히 유지되는지 확인합니다. 그런 다음 AI 데이터에 대해서도 유사한 scaling 손실을 보여드리겠습니다.
이제 좀 더 복잡한 모델로 진행하여 LLM의 _확률적_ 및 _자동 회귀적_ 특성(다음 토큰 예측)을 더 가깝게 포착할 수 있도록 하겠습니다. 이 섹션에서는 데이터 생성 프로세스를 정의하고, 새로운 모델(Hutter++)을 정의하고, 원래의 스케일링 법칙(깨끗한 데이터)이 여전히 유지되는지 확인합니다. 그런 다음 AI 데이터에 대해서도 유사한 스케일링 손실을 보여드리겠습니다.