Tail Cutting.As mentioned, deliberate choices in the AI generation algorithm (like top-\(p\) or top-\(k\) next token prediction) immediately lead to a chopped tail at \(k\). When viewed as skills, we can say that only the \(k\)th most frequent outcomes ("skills") are considered. But even when no tails are cut deliberately, the finite size \(T_{0}\) of the training set (sampling bias) induces an effective tail-cutting. This can be seen as follows: Sample an iid dataset of size \(T_{0}\), and estimate the histogram \(p_{\text{AI}}\); this new distribution plays the role of an AI data-generator. An integer \(i\) appears in the support of \(p_{\text{AI}}\) a number of times which is \(T_{0}p_{i}\) on average.
Tail Cutting. 앞서 언급했듯이, AI 생성 알고리즘에서 의도적인 선택(예: top-\(p\) 또는 top-\(k\) 다음 토큰 예측)은 즉시 \(k\)에서 꼬리를 잘라내는 결과를 초래합니다. 이를 기술로 보면, 우리는 \(k\)번째로 가장 빈번한 결과("기술")만 고려된다고 말할 수 있습니다. 그러나 의도적으로 꼬리를 자르지 않더라도, 훈련 세트의 유한한 크기 \(T_{0}\) (샘플링 편향)는 효과적인 꼬리 자르기를 유도합니다. 이는 다음과 같이 볼 수 있습니다: 크기 \(T_{0}\)의 iid 데이터셋을 샘플링하고, 히스토그램 \(p_{\text{AI}}\)을 추정합니다; 이 새로운 분포는 AI 데이터 생성기의 역할을 합니다. 정수 \(i\)는 평균적으로 \(T_{0}p_{i}\)번 \(p_{\text{AI}}\)의 지지에서 나타납니다.
꼬리 절단.언급했듯이, AI 생성 알고리즘에서 의도적인 선택(예: top-\(p\) 또는 top-\(k\) 다음 토큰 예측)은 즉시 \(k\)에서 잘린 꼬리를 초래합니다. 기술로 볼 때, 가장 빈번한 결과("스킬") 중 \(k\)번째 결과만 고려된다고 말할 수 있습니다. 그러나 의도적으로 꼬리가 잘리지 않더라도, 훈련 세트의 유한한 크기 \(T_{0}\)(샘플링 편향)는 효과적인 꼬리 절단을 유도합니다. 이는 다음과 같이 볼 수 있습니다: 크기 \(T_{0}\)의 iid 데이터 집합을 샘플링하고 히스토그램 \(p_{\text{AI}}\)를 추정하면, 이 새로운 분포가 AI 데이터 생성자의 역할을 합니다. 정수 \(i\)는 \(p_{\text{AI}}\)의 지원에 평균적으로 \(T_{0}p_{i}\)만큼 여러 번 나타납니다.