Here we show how even small amounts of original data can mitigate the above "scaling law collapse" by introducing a grokking phenomenon where test error plateaus and eventually continues to decline.
여기서는 소량의 원본 데이터도 테스트 오류가 정체되고 결국 계속 감소하는 grokking 현상을 도입하여 위의 "scaling law collapse"를 완화할 수 있는 방법을 보여준다.
여기서는 소량의 원본 데이터도 테스트 오류가 정체되고 결국 계속 감소하는 그로킹 현상을 도입하여 위의 "스케일링 법칙 붕괴"를 완화할 수 있는 방법을 보여준다.