Learning SpeedWe observe that even at the first checkpoint (10B tokens) of **WRAP** training, the average perplexity of the LLM on the Pile is lower than that achieved by pre-training on C4 for 15 checkpoints. This suggests a 15x pre-training speed-up. We defer the discussion on learning speed to 'zero-shot' tasks in order to make more meaningful comparisons.
학습 속도우리는 **WRAP** training의 첫 번째 체크포인트(10B 토큰)에서도 더미에 대한 LLM의 평균 perplexity가 15개의 체크포인트에 걸쳐 C4에서 pre-training한 것보다 낮다는 것을 관찰합니다. 이는 15배의 pre-training 속도 향상을 시사합니다. 학습 속도에 대한 논의는 'zero-shot' 작업으로 미루어 보다 의미 있는 비교를 할 수 있도록 합니다.
학습 속도우리는 **WRAP** 훈련의 첫 번째 체크포인트(10B 토큰)에서도 더미에 대한 LLM의 평균 당혹도가 15개의 체크포인트에 걸쳐 C4에서 사전 훈련한 것보다 낮다는 것을 관찰합니다. 이는 15배의 사전 학습 속도 향상을 시사합니다. 학습 속도에 대한 논의는 '제로 샷' 작업으로 미루어 보다 의미 있는 비교를 할 수 있도록 합니다.