ScalabilityDue to budget constraints, we have only verified the effectiveness of our method on smaller models (<=7B parameters) and smaller datasets (<100B tokens). Smaller models benefit significantly from removing the loss of irrelevant tokens and focusing on important ones. However, it's possible that very large models trained on extensive corpora may naturally develop this inductive bias to compress useful data (_i.e.,_ compressing everything), although it may sounds inefficient for now. Therefore, future works should study whether this selective language modeling technique can scale to very large models and data Kaplan et al. (2020).
확장성: 예산 제약으로 인해, 우리는 우리의 방법이 더 작은 모델(<=7B 파라미터)과 더 작은 데이터셋(<100B 토큰)에서만 효과적임을 검증했습니다. 더 작은 모델은 관련 없는 토큰의 손실을 제거하고 중요한 토큰에 집중함으로써 상당한 이점을 얻습니다. 그러나 매우 큰 코퍼스에서 훈련된 매우 큰 모델은 유용한 데이터를 압축하는 이 귀납적 편향을 자연스럽게 개발할 수 있습니다(즉, 모든 것을 압축하는 것), 비록 현재로서는 비효율적으로 보일 수 있지만. 따라서, 향후 연구는 이 선택적 언어 모델링 기법이 매우 큰 모델과 데이터에 확장될 수 있는지 여부를 연구해야 합니다 (Kaplan et al., 2020).
확장성예산 제약으로 인해 더 작은 모델(<=7B 파라미터)과 더 작은 데이터 세트(<100B 토큰)에서만 방법의 효과를 검증했습니다. 작은 모델은 관련 없는 토큰의 손실을 제거하고 중요한 토큰에 집중함으로써 상당한 이점을 얻을 수 있습니다. 그러나 현재로서는 비효율적으로 들릴 수 있지만, 광범위한 말뭉치로 훈련된 매우 큰 모델은 유용한 데이터를 압축하는(_즉,_ 모든 것을 압축하는) 이러한 귀납적 편향을 자연스럽게 개발할 수 있습니다. 따라서 향후 연구에서는 이러한 선택적 언어 모델링 기법이 매우 큰 모델과 데이터 Kaplan 등(2020)에 확장할 수 있는지 연구해야 합니다.