The phenomenon can be related to grokking, which describes the improvement of performance from the random chance level to perfect generalization [31]. [31] find that this improvement can occur well past the point of overfitting. In pre-training, the models are usually underfitting instead of overfitting overall. Since the pre-training corpus is a mixture of different documents, it is possible that the model already fits some patterns--such as numerical addition--in the data, while still underfitting the overall corpus.
이 현상은 무작위 확률 수준에서 완벽한 일반화로 성능이 향상되는 grokking과 관련이 있을 수 있습니다[31]. [31]은 이러한 개선이 과적합의 지점을 훨씬 넘어서서도 발생할 수 있음을 발견했습니다. Pre-training에서는 일반적으로 모델이 전체적으로 과적합하는 대신 underfitting합니다. Pre-training corpus는 서로 다른 문서의 혼합물이기 때문에 모델이 이미 데이터의 일부 패턴(예: 숫자 추가)에 맞는 반면 전체 corpus에 대해서는 여전히 underfitting할 수 있습니다.
이 현상은 무작위 확률 수준에서 완벽한 일반화로 성능이 향상되는 그로킹과 관련이 있을 수 있습니다[31]. [31]은 이러한 개선이 과적합의 지점을 훨씬 넘어서서도 발생할 수 있음을 발견했습니다. 사전 학습에서는 일반적으로 모델이 전체적으로 과적합하는 대신 과소 적합합니다. 사전 학습 말뭉치는 서로 다른 문서의 혼합물이기 때문에 모델이 이미 데이터의 일부 패턴(예: 숫자 추가)에 맞는 반면 전체 말뭉치에 대해서는 여전히 과소 적합할 수 있습니다.