In our theoretical analysis, motivated by empirical observations (see Figure 2) or by the effect of finite data sampling bias on heavy-tailed data, we have assumed that generated data follows patterns of either a tail cutoff or tail narrowing. In our subsequent experiments, we depart from theoretical assumptions on tail-cutting/narrowing to allow the widely deployed top-p selection or temperature scaling mechanisms to give possibly intermingled effects on the generated data distribution.
경험적 관찰(그림 2 참조) 또는 heavy-tailed 데이터에 대한 유한 데이터 샘플링 편향의 효과에서 동기를 얻어 이론적 분석에서 생성된 데이터가 꼬리 cutoff 또는 꼬리 narrowing 패턴을 따른다고 가정했다. 이후 실험에서는 널리 사용되는 top-p selection 또는 temperature scaling 메커니즘이 생성된 데이터 분포에 혼합될 수 있는 효과를 제공하도록 꼬리 절단/좁히기에 대한 이론적 가정에서 벗어났다.
경험적 관찰(그림 2 참조) 또는 헤비 테일 데이터에 대한 유한 데이터 샘플링 편향의 효과에서 동기를 얻어 이론적 분석에서 생성된 데이터가 꼬리 컷오프 또는 꼬리 좁힘 패턴을 따른다고 가정했다. 이후 실험에서는 널리 사용되는 상위 p 선택 또는 온도 스케일링 메커니즘이 생성된 데이터 분포에 혼합될 수 있는 효과를 제공하도록 꼬리 절단/좁히기에 대한 이론적 가정에서 벗어났다.