To this end, we carefully zoom into the scaling behavior of LLM-style models. Theoretical derivations of scaling laws always assume a heavy-tailed distribution (power-law, aka Zipf) on the input features ("heavy tail in, power scaling law out").
이를 위해 우리는 LLM 스타일 모델의 scaling 동작을 주의 깊게 확대합니다. scaling laws의 이론적 도출은 항상 입력 피처에 대한 heavy-tailed 분포(power-law, aka Zipf)를 가정합니다("heavy tail in, power scaling law out").
이를 위해 우리는 LLM 스타일 모델의 스케일링 동작을 주의 깊게 확대합니다. 스케일링 법칙의 이론적 도출은 항상 입력 피처에 대한 무거운 꼬리 분포(파워 규칙, 일명 지프)를 가정합니다("무거운 꼬리 내, 파워 스케일링 법칙 외부").