To counter the effect of tail cutting and the resulting plateau in scaling, we might resort to adding curated data that would emphasize the tail. The following Theorem 3.1 studies this effect; it shows, in particular that if we "overshoot" and only curate tail that is too deep, our efforts will be worthless. Rather, there is a fine line around the chopped tail \(k\) (within a factor of \((1+o(1))\) of \(k\)), where we need to place our data curation efforts to achieve the desired effect, a return of the scaling beyond the plateau.
꼬리 잘라내기의 효과와 그에 따른 scaling의 고원을 상쇄하기 위해 꼬리를 강조하는 curated 데이터를 추가할 수 있습니다. 다음 Theorem 3.1은 이러한 효과를 연구하는데, 특히 꼬리가 너무 깊은 꼬리만 curated하여 'overshoot'하면 노력이 헛된 것임을 보여줍니다. 오히려 잘린 꼬리 \(k\) 주변(k의 \((1+o(1))\) 계수 내)에는 원하는 효과, 즉 고원을 넘어 scaling을 회복하기 위해 데이터 curation 노력을 기울여야 하는 미세한 선이 있습니다.
꼬리 잘라내기의 효과와 그에 따른 스케일링의 고원을 상쇄하기 위해 꼬리를 강조하는 큐레이션된 데이터를 추가할 수 있습니다. 다음 정리 3.1은 이러한 효과를 연구하는데, 특히 꼬리가 너무 깊은 꼬리만 큐레이션하여 '과대 추정'하면 노력이 헛된 것임을 보여줍니다. 오히려 잘린 꼬리 \(k\) 주변(k의 \((1+o(1))\) 계수 내)에는 원하는 효과, 즉 고원을 넘어 스케일링을 회복하기 위해 데이터 큐레이션 노력을 기울여야 하는 미세한 선이 있습니다.