The deviation of the DeepSeek models' performance from the predictions of Eq.(1) could indeed stem from the adoption of a new model scale representation. By utilizing non-embedding FLOPs per token \(M\) instead of the overall model parameters \(N\), the scaling law that was originally designed or calibrated for the parameter might not accurately capture the performance nuances associated with computational complexity per token.
DeepSeek 모델의 성능이 Eq.(1)의 예측에서 벗어난 것은 실제로 새로운 모델 스케일 표현을 채택했기 때문일 수 있습니다. 전체 모델 파라미터 \(N\) 대신 토큰당 비임베딩 FLOPs \(M\)을 활용함으로써, 원래 파라미터에 대해 설계 또는 보정된 scaling law가 토큰당 계산 복잡성과 관련된 성능의 뉘앙스를 정확하게 포착하지 못할 수 있습니다.
DeepSeek 모델의 성능이 Eq.(1)의 예측에서 벗어난 것은 실제로 새로운 모델 스케일 표현을 채택했기 때문일 수 있습니다. 전체 모델 파라미터 \(N\) 대신 토큰당 비임베딩 FLOPs \(M\)을 활용함으로써, 원래 파라미터에 대해 설계 또는 보정된 스케일링 법칙이 토큰당 계산 복잡성과 관련된 성능의 뉘앙스를 정확하게 포착하지 못할 수 있습니다.