Another interesting factor to estimate is the dimensionality inherent to the data itself. To avoid possible effects related to specific inductive biases, we train naive 5-gram language models on several datasets of varying coverage (IMDb (Maas et al., 2011), Wikitext (Merity et al., 2016), and The Pile (Gao et al., 2020)), using two tokenizers of varying vocabulary sizes (30k tokens for Llama-2 and 50k tokens for Pythia). Given \(\mathcal{C}\) observed 5-grams, we consider the matrices \(W\in\mathbb{R}^{C\times V}\) where each row is a probability distribution over possible tokens in a given 4-token context, and compute their singular value distributions, as in Terashima et al. (2003).
추정해야 할 또 다른 흥미로운 요소는 데이터 자체에 내재된 차원성입니다. 특정 귀납적 편향과 관련된 가능한 영향을 피하기 위해 다양한 커버리지(IMDb(Maas et al., 2011), Wikitext(Merity et al., 2016), The Pile(Gao et al., 2020))의 여러 데이터 세트에 대해 순진한 5-gram language models를 학습하고, 다양한 어휘 크기(30k tokens의 경우 Llama-2와 50k tokens의 경우 Pythia)의 두 가지 tokenizers를 사용합니다. 관찰된 5-grams이 \(\mathcal{C}\)라고 가정할 때, 각 행이 주어진 4-token context에서 가능한 tokens에 대한 확률 분포인 행렬 \(W\in\mathbb{R}^{C\times V}\)를 고려하고, Terashima et al. (2003)에서와 같이 singular value distributions를 계산합니다.
추정해야 할 또 다른 흥미로운 요소는 데이터 자체에 내재된 차원성입니다. 특정 귀납적 편향과 관련된 가능한 영향을 피하기 위해 다양한 커버리지(IMDb(Maas et al., 2011), Wikitext(Merity et al., 2016), The Pile(Gao et al., 2020))의 여러 데이터 세트에 대해 순진한 5그램 언어 모델을 학습하고, 다양한 어휘 크기(30k 토큰의 경우 Llama-2와 50k 토큰의 경우 Pythia)의 두 가지 토큰화기를 사용합니다. 관찰된 5그램이 \(mathcal{C}\)라고 가정할 때, 각 행이 주어진 4토큰 컨텍스트에서 가능한 토큰에 대한 확률 분포인 행렬 \(W\in\mathbb{R}^{C\times V}\)를 고려하고, Terashima et al. (2003)에서와 같이 특이값 분포를 계산합니다.