These models are usually composed of a neural network \(f_{\theta}\) that takes sequences of tokens \((y_{<i})\in[1,V]^{i-1}\) as inputs and produces a relatively low-dimensional contextual representation in \(\mathbb{R}^{d}\), where \(d\) is the _hidden dimension_ of the model. They then rely on a _language modeling head_ that produces logits for contextual token probabilities. A common choice for the language modeling head is a linear layer with parameter \(W\in\mathbb{R}^{V\times d}\), where \(V\) is the number of possible tokens.
이러한 모델은 일반적으로 토큰 시퀀스 \((y_{<i})\in[1,V]^{i-1}\)를 입력으로 받아들이고 \(\mathbb{R}^{d}\)에서 비교적 저차원적인 문맥 표현을 생성하는 신경망 \(f_{\theta}\)로 구성되며, 여기서 \(d\)는 모델의 _hidden dimension_입니다. 그런 다음 문맥 토큰 확률에 대한 logits를 생성하는 _language modeling head_에 의존합니다. Language modeling head에 대한 일반적인 선택은 파라미터 \(W\in\mathbb{R}^{V\times d}\)를 가진 선형 레이어이며, 여기서 \(V\)는 가능한 토큰의 수입니다.
이러한 모델은 일반적으로 토큰 시퀀스 \((y_{<i})\in[1,V]^{i-1}\)를 입력으로 받아들이고 \(\mathbb{R}^{d}\)에서 비교적 저차원적인 문맥 표현을 생성하는 신경망 \(f_{\theta}\)로 구성되며, 여기서 \(d\)는 모델의 _숨겨진 차원_입니다. 그런 다음 문맥 토큰 확률에 대한 로그를 생성하는 _언어 모델링 헤드_에 의존합니다. 언어 모델링 헤드에 대한 일반적인 선택은 파라미터 \(W\in\mathbb{R}^{V\times d}\)를 가진 선형 레이어이며, 여기서 \(V\)는 가능한 토큰의 수입니다.