Figure 1: (Cartoon). Top-p (nucleus) sampling, temperature scaling of LLM generation, and finite sample bias lead to truncated or narrowed “tails” (left side), causing loss of scaling laws (top right) and loss of skills (bottom right). Here we visualize calculating the greatest common divisor (GCD) with answer 2 and 3 as two skills.
그림 1: (만화). Top-p (nucleus) sampling, LLM generation의 temperature scaling, 유한 샘플 편향으로 인해 "꼬리"가 잘리거나 좁아지면(왼쪽) scaling laws(오른쪽 상단)과 기술(오른쪽 하단)이 손실됩니다. 여기서는 답이 2와 3인 최대공약수(GCD)를 두 가지 기술로 계산하는 것을 시각화합니다.
그림 1: (만화). 상위 p(핵) 샘플링, LLM 생성의 온도 스케일링, 유한 샘플 편향으로 인해 "꼬리"가 잘리거나 좁아지면(왼쪽) 스케일링 법칙(오른쪽 상단)과 기술(오른쪽 하단)이 손실됩니다. 여기서는 답이 2와 3인 최대공약수(GCD)를 두 가지 기술로 계산하는 것을 시각화합니다.