Footnote 6: Here, \(N_{c}\)\(D_{c}\) and \(C_{c}\) are measured in the number of non-embedding parameters, the number of training tokens and the number of FP-days, respectively. According to the original paper [30], \(C_{c}\) and \(C\) should be denoted by \(C_{c}^{min}\) and \(C_{min}\), corresponding to the optimal use of compute. We use the simplified notations for ease of discussions.
주 6: 여기서 \(N_{c}\)\(D_{c}\) 및 \(C_{c}\)는 각각 비임베딩 파라미터 수, training token 수 및 FP일 수로 측정됩니다. 원래 논문 [30]에 따르면 \(C_{c}\) 및 \(C\)는 최적의 컴퓨팅 사용량에 해당하는 \(C_{c}^{min}\) 및 \(C_{min}\)로 표시되어야 합니다. 논의의 용이성을 위해 단순화된 표기법을 사용합니다.
주 6: 여기서 \(N_{c}\)\(D_{c}\) 및 \(C_{c}\)는 각각 비임베딩 파라미터 수, 훈련 토큰 수 및 FP일 수로 측정됩니다. 원래 논문 [30]에 따르면 \(C_{c}\) 및 \(C\)는 최적의 컴퓨팅 사용량에 해당하는 \(C_{c}^{min}\) 및 \(C_{min}\)로 표시되어야 합니다. 논의의 용이성을 위해 단순화된 표기법을 사용합니다.