In order to show the potential for creating a truly ever-changing LM, we explore the effect of multiple CKL phases by creating CC-RecentNews-Small, denoted as Small, which is a small variant of CC-RecentNews that consists of randomly sampled 10% of the original corpus.
진정으로 끊임없이 변화하는 LM을 만들 가능성을 보여주기 위해, 우리는 CC-RecentNews의 작은 변형인 CC-RecentNews-Small(이하 Small)을 생성하여 여러 CKL 단계의 효과를 탐구합니다. Small은 원본 코퍼스에서 무작위로 샘플링된 10%로 구성되어 있습니다.
진정으로 변화무쌍한 LM을 만드는 잠재력을 보여주기 위해, 원본 말뭉치의 10%를 무작위로 샘플링한 CC-RecentNews의 작은 변형인 Small로 표시되는 CC-RecentNews-Small을 생성하여 여러 CKL 단계의 효과를 탐색한다.