For completeness, we include Figure 33 with loss on the full chunks and Figure 34 that mix the generated data with original data. The mixing curve also aligns well with the grokking phenomenon predicted by theory.
완전성을 위해 전체 청크의 Loss가 있는 그림 33과 생성된 데이터와 원본 데이터를 혼합한 그림 34를 포함합니다. 혼합 곡선은 이론에 의해 예측된 grokking 현상과도 잘 일치합니다.
완전성을 위해 전체 청크의 손실이 있는 그림 33과 생성된 데이터와 원본 데이터를 혼합한 그림 34를 포함합니다. 혼합 곡선은 이론에 의해 예측된 그로킹 현상과도 잘 일치합니다.