The results are in line with findings from Lee et al. (2021) which suggest LMs should be pretrained with just a few epochs on less duplicating data for efficiency. We add additional intuition to their findings and conjecture that the inefficiency of pretraining from duplicate data could have been caused by the forgetting of the rather long-tail knowledge in the pretraining corpus.
이러한 결과는 효율성을 위해 덜 중복되는 데이터에 대해 몇 번의 epochs만 pretraining해야 한다는 Lee 등(2021)의 연구 결과와 일치한다. 우리는 이러한 발견에 추가적인 직관을 더하고 중복된 데이터로부터의 pretraining의 비효율성은 pretraining corpus에서 다소 긴 꼬리 지식의 잊어버림으로 인해 발생했을 수 있다고 추측한다.
이러한 결과는 효율성을 위해 덜 중복되는 데이터에 대해 몇 번의 에포크만 사전 학습해야 한다는 Lee 등(2021)의 연구 결과와 일치한다. 우리는 이러한 발견에 추가적인 직관을 더하고 중복된 데이터로부터의 사전 학습의 비효율성은 사전 학습 코퍼스에서 다소 긴 꼬리 지식의 잊어버림으로 인해 발생했을 수 있다고 추측한다.