Note that the hidden dimension size is much smaller than the size of the token dictionary, i.e., \(h\ll l\). For example, LLaMA (Touvron et al., 2023) chooses \(h\in\{4096,5120,6656,8192\}\) and \(l=32{,}000\), and there is a recent trend towards increasingly large token sizes; GPT-4, for example, has a \(\approx\)100,000 token vocabulary.
숨겨진 차원의 크기는 토큰 사전의 크기보다 훨씬 작다는 점에 유의하십시오, 즉 \(h\ll l\). 예를 들어, LLaMA (Touvron et al., 2023)는 \(h\in\{4096,5120,6656,8192\}\) 및 \(l=32{,}000\)을 선택하며, 최근에는 점점 더 큰 토큰 크기로 나아가는 추세가 있습니다; 예를 들어, GPT-4는 \(\approx\)100,000 토큰 어휘를 가지고 있습니다.
숨겨진 차원 크기는 토큰 사전의 크기보다 훨씬 작습니다(즉, \(h\ll l\)). 예를 들어, LLaMA(Touvron et al., 2023)는 \(h\in\{4096,5120,6656,8192\}\), \(l=32{,}000\)을 선택하며, 최근에는 토큰 크기가 점점 커지는 추세가 있으며, 예를 들어 GPT-4의 어휘는 \(\approx\)100,000 토큰입니다.