We study models that take a sequence of tokens drawn from a vocabulary \(\mathcal{X}\) as input. Let \(\mathcal{P}\left(\mathcal{X}\right)\) denote the space of probability distributions over \(\mathcal{X}\). We study parameterized models \(f_{\theta}:\mathcal{X}^{N}\rightarrow\mathcal{P}\left(\mathcal{X}\right)\) that produce a probability distribution over the next output token, given an input sequence of \(N\) tokens.
우리는 어휘 \(\mathcal{X}\)에서 추출된 일련의 토큰을 입력으로 받는 모델을 연구합니다. \(\mathcal{X}\)에 대한 확률 분포 공간을 \(\mathcal{P}\left(\mathcal{X}\right)\)로 나타냅니다. 우리는 \(N\)개의 토큰으로 구성된 입력 시퀀스가 주어졌을 때, 다음 출력 토큰에 대한 확률 분포를 생성하는 매개변수화된 모델 \(f_{\theta}:\mathcal{X}^{N}\rightarrow\mathcal{P}\left(\mathcal{X}\right)\)를 연구합니다.
어휘 \(\mathcal{X}\)에서 추출한 토큰 시퀀스를 입력으로 받는 모델을 연구합니다. mathcal{P}\left(\mathcal{X}\right)\)는 \(\mathcal{X}\)에 대한 확률 분포의 공간을 나타냅니다. 입력된 \(N\) 토큰의 입력 시퀀스가 주어지면 다음 출력 토큰에 대한 확률 분포를 생성하는 매개변수화된 모델 \(f_{\theta}:\mathcal{X}^{N}\rightarrow\mathcal{P}\left(\mathcal{X}\right)\)를 연구합니다.