For simplicity, within each 512-token context window, we either include only useful data or only junk data (separated by <EOS> tokens). The outcomes are similar when mixing useful and junk data in the same context window. In all three cases, we initially consider a 100-exposure training setting where the useful data receive 100 exposures each during pretraining -- thus, the total number of training tokens is approximately 8 times more than in Figure 1(b) (our scaling law for the 100-exposure case without junk data).
간단하게 하기 위해 각 512-token 컨텍스트 창 내에서 유용한 데이터만 포함하거나 정크 데이터만 포함합니다(<EOS> 토큰으로 구분). 동일한 컨텍스트 창에서 유용한 데이터와 정크 데이터를 혼합할 때도 결과는 비슷합니다. 세 가지 경우 모두에서, 처음에는 유용한 데이터가 사전 학습 중에 각각 100회 노출을 받는 100회 노출 훈련 설정을 고려합니다. 따라서 총 훈련 토큰 수는 그림 1(b)보다 약 8배 더 많습니다(정크 데이터가 없는 100 노출 사례에 대한 scaling law).
간단하게 하기 위해 각 512 토큰 컨텍스트 창 내에서 유용한 데이터만 포함하거나 정크 데이터만 포함합니다(EOS 토큰으로 구분). 동일한 컨텍스트 창에서 유용한 데이터와 정크 데이터를 혼합할 때도 결과는 비슷합니다. 세 가지 경우 모두에서, 처음에는 유용한 데이터가 사전 학습 중에 각각 100회 노출을 받는 100회 노출 훈련 설정을 고려합니다. 따라서 총 훈련 토큰 수는 그림 1(b)보다 약 8배 더 많습니다(정크 데이터가 없는 100 노출 사례에 대한 스케일링 법칙).