In practice, a neural language model \(\phi_{\theta}\) produces contextual representations \(x_{i}=\phi_{\theta}(y_{<i})\) of dimension \(d\in\mathbb{N}^{*}\). The linear language modeling head \(W_{\theta}\in\mathcal{R}^{V\times d}\) is trained concurrently with \(\phi_{\theta}\) with the same objective as in Equation 1.
실제로 신경 언어 모델 \(\phi_{\theta}\)는 차원 \(d\in\mathbb{N}^{*}\)의 문맥 표현 \(x_{i}=\phi_{\theta}(y_{<i})\)을 생성합니다. linear language modeling head \(W_{\theta}\in\mathcal{R}^{V\times d}\)는 방정식 1과 동일한 objective를 가지고 \(\phi_{\theta}\)와 동시에 학습됩니다.
실제로 신경 언어 모델 \(\phi_{\theta}\)는 차원 \(d\in\mathbb{N}^{*}\)의 문맥 표현 \(x_{i}=\phi_{\theta}(y_{<i})\)을 생성합니다. 선형 언어 모델링 헤드 \(W_{\theta}\in\mathcal{R}^{V\times d}\)는 방정식 1과 동일한 목표를 가지고 \(\phi_{\theta}\)와 동시에 학습됩니다.