Language models give the probability of the next token conditioned on the tokens that came before it, i.e. \(\mathbf{v}=p(x_{T+1}\mid x_{1},...,x_{T};\theta)\), where \(\mathbf{v}\in\Delta^{|\mathcal{V}|-1}\) gives the probability of each of \(|\mathcal{V}|\) possible next tokens. Generally these models have relatively large vocabulary sizes; the vocabulary \(\mathcal{V}\) may contain tens or hundreds of thousands of elements.
언어 모델은 이전 토큰에 조건이 붙은 다음 토큰의 확률, 즉 \(\mathbf{v}=p(x_{T+1}\mid x_{1},...,x_{T};\theta)\)를 제공하며, 여기서 \(\mathbf{v}\in\Delta^{|\mathcal{V}|-1}\)는 가능한 다음 토큰의 각각에 대한 확률을 제공합니다. 일반적으로 이러한 모델은 비교적 큰 vocabulary 크기를 가집니다. vocabulary \(\mathcal{V}\)에는 수십 또는 수십만 개의 요소가 포함될 수 있습니다.
언어 모델은 이전 토큰에 조건이 붙은 다음 토큰의 확률, 즉 \(\mathbf{v}=p(x_{T+1}\mid x_{1},...,x_{T};\theta)\)를 제공하며, 여기서 \(\mathbf{v}\in\Delta^{|\mathcal{V}|-1}\)는 가능한 다음 토큰의 각각에 대한 확률을 제공합니다. 일반적으로 이러한 모델은 어휘 크기가 비교적 큽니다. 어휘 \(\mathcal{V}\)에는 수십 또는 수십만 개의 요소가 포함될 수 있습니다.