What does infinite training data mean?The above steps require training models with a fixed set of hyperparameters on infinite data until convergence. In practical scenarios, however, data is always finite in practice. Nevertheless, it is feasible to have _relatively_ "infinite training data" for a given model. Say we have an extremely small model with only \(N=10\) parameters. For this micro model, due to its very limited capacity, no matter how much training data we use to train it (_e.g._, 1B, 2B, or 1T tokens5), the model's performance cannot be improved, and the training dynamic (_i.e._, the test loss at any given training step) is almost the same. This is to say, beyond a _critical size_, this micro model is unaware of the growth of the data size. In this case, we can say that the training data is _relatively_ infinite for this model. In fact, for a given parameter with \(N\) parameters, this critical size could be computed (see Eq. 4.4 in [16]). Here, we give a simple empirical method to deduce whether a data size is (relatively) infinite for a \(N\)-parameter model. Note that overfitting should not happen when the training data is (relatively) infinite. As a result, we can train the \(N\)-parameter model and observe whether the training and test losses diverge. If the dynamics of the training and test losses are almost the same everywhere (_i.e._, no overfitting), we can safely infer that the training data is (relatively) infinite for the given \(N\)-parameter model.
무한한 훈련 데이터란 무엇을 의미하나요?위의 단계는 수렴할 때까지 무한한 데이터로 고정된 하이퍼파라미터 세트로 모델을 훈련해야 합니다. 그러나 실제 시나리오에서는 데이터가 항상 유한합니다. 그럼에도 불구하고 주어진 모델에 대해 _상대적으로_ "무한한 훈련 데이터"를 갖는 것은 실현 가능합니다. 예를 들어, 파라미터가 \(N=10\) 개뿐인 매우 작은 모델이 있다고 가정해 보겠습니다. 이 마이크로 모델은 용량이 매우 제한되어 있기 때문에 1B, 2B 또는 1T 토큰5와 같이 아무리 많은 훈련 데이터를 사용하여 훈련해도 모델의 성능을 개선할 수 없으며 훈련 동적(_즉, 주어진 훈련 단계에서의 테스트 Loss)도 거의 동일합니다. 즉, 임계 크기_를 넘어서면 이 마이크로 모델은 데이터 크기의 증가를 인식하지 못합니다. 이 경우 훈련 데이터가 이 모델에 대해 _상대적으로_ 무한대라고 말할 수 있습니다. 실제로, N개의 파라미터가 있는 특정 파라미터의 경우 이 임계 크기는 계산할 수 있습니다(16]의 Eq. 4.4 참조). 여기서는 데이터 크기가 (상대적으로) 무한한지 여부를 \(N\) 파라미터 모델에 대해 추론하는 간단한 경험적 방법을 제시합니다. 훈련 데이터가 (상대적으로) 무한대일 때는 과적합이 발생해서는 안 됩니다. 결과적으로, \(N\) 파라미터 모델을 훈련하고 훈련 및 테스트 Loss가 갈라지는지 관찰할 수 있습니다. 훈련 Loss와 테스트 Loss의 동역학이 모든 곳에서 거의 동일하다면(_즉, 과적합이 발생하지 않음_), 주어진 \(N\) 파라미터 모델에 대해 훈련 데이터가 (상대적으로) 무한대라고 안전하게 추론할 수 있습니다.
무한한 훈련 데이터란 무엇을 의미하나요?위의 단계는 수렴할 때까지 무한한 데이터로 고정된 하이퍼파라미터 세트로 모델을 훈련해야 합니다. 그러나 실제 시나리오에서는 데이터가 항상 유한합니다. 그럼에도 불구하고 주어진 모델에 대해 _상대적으로_ "무한한 훈련 데이터"를 갖는 것은 실현 가능합니다. 예를 들어, 파라미터가 \(N=10\) 개뿐인 매우 작은 모델이 있다고 가정해 보겠습니다. 이 마이크로 모델은 용량이 매우 제한되어 있기 때문에 1B, 2B 또는 1T 토큰5와 같이 아무리 많은 훈련 데이터를 사용하여 훈련해도 모델의 성능을 개선할 수 없으며 훈련 동적(_즉, 주어진 훈련 단계에서의 테스트 손실)도 거의 동일합니다. 즉, 임계 크기_를 넘어서면 이 마이크로 모델은 데이터 크기의 증가를 인식하지 못합니다. 이 경우 훈련 데이터가 이 모델에 대해 _상대적으로_ 무한대라고 말할 수 있습니다. 실제로, N개의 파라미터가 있는 특정 파라미터의 경우 이 임계 크기는 계산할 수 있습니다(16]의 Eq. 4.4 참조). 여기서는 데이터 크기가 (상대적으로) 무한한지 여부를 \(N\) 파라미터 모델에 대해 추론하는 간단한 경험적 방법을 제시합니다. 훈련 데이터가 (상대적으로) 무한대일 때는 과적합이 발생해서는 안 됩니다. 결과적으로, \(N\) 파라미터 모델을 훈련하고 훈련 및 테스트 손실이 갈라지는지 관찰할 수 있습니다. 훈련 손실과 테스트 손실의 동역학이 모든 곳에서 거의 동일하다면(_즉, 과적합이 발생하지 않음_), 주어진 \(N\) 파라미터 모델에 대해 훈련 데이터가 (상대적으로) 무한대라고 안전하게 추론할 수 있습니다.