Figure 7: **The relationship between the selected tokens / unselected tokens loss in SLM and downstream task performance.** The y-axis represents the average few-shot accuracy on GSM8k and MATH. The x-axis represents the average loss on selected tokens / unselected tokens at corresponding checkpoint(2B, 5B, 8B, 11B, and 14B).
그림 7: **SLM에서 선택된 토큰/선택되지 않은 토큰 Loss와 다운스트림 작업 성능 간의 관계.** Y축은 GSM8k 및 MATH의 평균 few-shot 정확도를 나타냅니다. X축은 해당 체크포인트(2B, 5B, 8B, 11B 및 14B)에서 선택된 토큰/선택되지 않은 토큰의 평균 Loss를 나타냅니다.
그림 7: **SLM에서 선택된 토큰/선택되지 않은 토큰 손실과 다운스트림 작업 성능 간의 관계.** Y축은 GSM8k 및 MATH의 평균 몇 번의 샷 정확도를 나타냅니다. X축은 해당 체크포인트(2B, 5B, 8B, 11B 및 14B)에서 선택된 토큰/선택되지 않은 토큰의 평균 손실을 나타냅니다.