We now return to our main problem, understanding model collapse in the probabilistic setting and consider the Hutter++ presented above. Thus, suppose the learner only has access to at most a dataset of size \(T\) containing the \(k\)th head of the conditional distribution \(p(\cdot\mid i)\). That is, sampled from: \(i\sim p\), \(j\sim p(j\mid i)1[j\leq k]\) (normalized appropriately), where \(p(\cdot\mid i)\) is as in Equation (16).
이제 우리는 주된 문제로 돌아가서, 확률적 설정에서 모델 붕괴를 이해하고 위에서 제시한 Hutter++를 고려합니다. 따라서 학습자는 조건부 분포 \(p(\cdot\mid i)\)의 \(k\)번째 헤드를 포함하는 크기 \(T\)의 데이터셋에만 접근할 수 있다고 가정합니다. 즉, 다음과 같이 샘플링됩니다: \(i\sim p\), \(j\sim p(j\mid i)1[j\leq k]\) (적절히 정규화됨), 여기서 \(p(\cdot\mid i)\)는 식 (16)과 같습니다.
이제 확률적 설정에서 모델 붕괴를 이해하는 주요 문제로 돌아와서 위에서 제시한 Hutter++를 고려해 보겠습니다. 따라서 학습자가 조건부 분포 \(p(\cdot\mid i)\)의 \(k\)번째 헤드를 포함하는 최대 \(T\) 크기의 데이터 세트에만 액세스할 수 있다고 가정합니다. 즉, 다음과 같이 샘플링합니다: i\sim p, j\sim p(j\mid i)1[j\leq k]\)(적절하게 정규화됨), 여기서 \(p(\cdot\mid i)\)는 식 (16)과 같습니다.