Such distributions are ubiquitous in natural datasets, from Zipf's law (Zipf, 1935) in distribution of word frequencies, to biological data, earthquake magnitudes, financial data etc. - this is the data being consumed by large models at scale, like LLMs. But what distribution do AI-models generate when trained on such data? Figure 2 provides an empirical answer for a large scale LLM (Llama2-7B) and a transformer model trained on an arithmetic task. Regenerating heavy-tailed data affects the distribution in two possible ways: (1) "Cutting off" the tail of the distribution and/or (2) "Narrowing" the tail (see Figure 1 for a cartoon illustration). The mechanisms leading to this, apart from finite sampling bias (as already proposed in Shumailov et al. (2023) - see Section 2 for a derivation in the Zipf-setting), stem from deliberate choices in the generation algorithms of the models: in LLMs via truncated next token prediction at inference (e.g. selecting more likely tokens via _top-_ or _top-_\(k\)_ truncation, concentrating the probability distribution by lowering the temperature); in vision models like GANs via truncation or in diffusion models through guidance.
이러한 분포는 단어 빈도 분포의 Zipf's law (Zipf, 1935)부터 생물학적 데이터, 지진 진도, 금융 데이터 등까지 자연 데이터 세트에 어디에나 존재하며, 이는 Large Language Models (LLMs)과 같은 대규모 모델이 대규모로 소비하는 데이터입니다. 하지만 이러한 데이터로 학습된 AI 모델은 어떤 분포를 생성할까요? 그림 2는 대규모 LLM (Llama2-7B)과 산술 작업으로 학습된 Transformer 모델에 대한 경험적 답을 제공합니다. 무거운 꼬리를 가진 데이터를 재생성하면 분포의 꼬리 부분이 (1) "잘리거나" (2) 꼬리가 "좁아지는" 두 가지 방식으로 영향을 미칩니다(그림 1을 참조하세요). 이를 유발하는 메커니즘은 Shumailov 등(2023)에서 이미 제안한 것처럼 유한 샘플링 편향 외에도 모델의 생성 알고리즘에서 의도적으로 선택한 것에서 비롯됩니다: 추론 시 잘린 다음 토큰 예측을 통해 LLM의 경우 (예: _top-_ 또는 _top-_\(k\)_ truncation을 통해 가능성이 높은 토큰을 선택하고, 온도를 낮춰 확률 분포를 집중시키는 경우); GAN과 같은 비전 모델의 경우 truncation을 통해 또는 확산 모델의 경우 가이드를 통해 생성됩니다.
이러한 분포는 단어 빈도 분포의 지프의 법칙(Zipf, 1935)부터 생물학적 데이터, 지진 진도, 금융 데이터 등까지 자연 데이터 세트에 어디에나 존재하며, 이는 LLM과 같은 대규모 모델이 대규모로 소비하는 데이터입니다. 하지만 이러한 데이터로 학습된 AI 모델은 어떤 분포를 생성할까요? 그림 2는 대규모 LLM(Llama2-7B)과 산술 작업으로 학습된 트랜스포머 모델에 대한 경험적 답을 제공합니다. 무거운 꼬리를 가진 데이터를 재생성하면 분포의 꼬리 부분이 (1) "잘리거나" (2) 꼬리가 "좁아지는" 두 가지 방식으로 영향을 미칩니다(그림 1을 참조하세요). 이를 유발하는 메커니즘은 Shumailov 등(2023)에서 이미 제안한 것처럼 유한 샘플링 편향 외에도 모델의 생성 알고리즘에서 의도적으로 선택한 것에서 비롯됩니다: 추론 시 잘린 다음 토큰 예측을 통해 LLM의 경우 (예: _top-_ 또는 _top-_\(k\)_ 트런케이션을 통해 가능성이 높은 토큰을 선택하고, 온도를 낮춰 확률 분포를 집중시키는 경우); GAN과 같은 비전 모델의 경우 트런케이션을 통해 또는 확산 모델의 경우 가이드를 통해 생성됩니다.