Ideally, if the model \(f\) can perfectly memorize the entire training set \(\{Z\}=(g_{1},\ldots,g_{N})\), its best possible loss \(\text{\bf loss}(g)=\log N\) is achieved. Thus, if the model can perfectly learn this training set, the bit complexity lower bound satisfies \(\log|\mathcal{W}|\geq N\log\frac{N_{0}-N}{N}\geq(1-o(1))N\log\frac{N_{0}}{N}\) when \(N\ll N_{0}\).
이상적으로, 모델 \(f\)가 전체 훈련 세트 \(\{Z\}=(g_{1},\ldots,g_{N})\)를 완벽하게 암기할 수 있다면, 최상의 손실 \(\text{\bf loss}(g)=\log N\)에 도달할 수 있습니다. 따라서, 모델이 이 훈련 세트를 완벽하게 학습할 수 있다면, 비트 복잡도의 하한은 \(N\ll N_{0}\)일 때 \(\log|\mathcal{W}|\geq N\log\frac{N_{0}-N}{N}\geq(1-o(1))N\log\frac{N_{0}}{N}\)을 만족합니다.
이상적으로 모델 \(f\)가 전체 훈련 세트 \(\{Z\}=(g_{1},\ldots,g_{N})\)를 완벽하게 기억할 수 있다면, 가능한 최상의 손실 \(\text{\bf loss}(g)=\log N\)이 달성됩니다. 따라서 모델이 이 훈련 세트를 완벽하게 학습할 수 있다면 비트 복잡성 하한은 \(N\ll N_{0}\)일 때 \(\log|\mathcal{W}|\geq N\log\frac{N_{0}-N}{N}\geq(1-o(1))N\log\frac{N_{0}}{N}\)을 만족합니다.