Figure 6: **The dynamics of pretraining loss and downstream loss.** (a) and (c) represent the loss of tokens selected/unselected by SLM during pretraining in both SLM and CLM methods, while (b) represents the loss of the SLM and CLM methods on downstream corpora. We tested the above results through the process of pretraining with a total of 4 billion tokens.
그림 6: **The dynamics of pretraining Loss and downstream Loss.** (a)와 (c)는 SLM과 CLM 방법 모두에서 사전 학습 중에 SLM에 의해 선택/선택되지 않은 토큰의 Loss를 나타내며, (b)는 다운스트림 코퍼스에서 SLM과 CLM 방법의 Loss를 나타냅니다. 위의 결과는 총 40억 개의 토큰으로 사전 학습하는 과정을 통해 테스트했습니다.
그림 6: **사전 학습 손실과 다운스트림 손실의 역학.** (a)와 (c)는 SLM과 CLM 방법 모두에서 사전 학습 중에 SLM에 의해 선택/선택되지 않은 토큰의 손실을 나타내며, (b)는 다운스트림 코퍼스에서 SLM과 CLM 방법의 손실을 나타냅니다. 위의 결과는 총 40억 개의 토큰으로 사전 학습하는 과정을 통해 테스트했습니다.