Since our encoder model is pretrained on text (we utilize T5), we must reformat \(\mathbf{v}\) to be fed to a language encoder. The simplest method is to project \(\mathbf{v}\) to \(\mathbb{R}^{d}\) and feed it as an input hidden vector. However, given the large size of the vocabulary \(|\mathcal{V}|\) and the fact that it has been passed through a softmax, this would cause a large reduction in rank and a loss of information8.
인코더 모델은 텍스트에 대해 사전 학습된(T5를 활용) 상태이므로 언어 인코더에 공급할 수 있도록 \(\mathbf{v}\)의 형식을 다시 지정해야 합니다. 가장 간단한 방법은 \(\mathbf{v}\)를 \(\mathbb{R}^{d}\)로 투영하여 입력 hidden vector로 공급하는 것입니다. 그러나 어휘의 크기 \(|\mathcal{V}|\)가 크고 softmax를 통과했기 때문에 순위가 크게 감소하고 정보8이 손실됩니다.
인코더 모델은 텍스트에 대해 사전 학습된(T5를 활용) 상태이므로 언어 인코더에 공급할 수 있도록 \(\mathbf{v}\)의 형식을 다시 지정해야 합니다. 가장 간단한 방법은 \(\mathbf{v}\)를 \(\mathbb{R}^{d}\)로 투영하여 입력 숨겨진 벡터로 공급하는 것입니다. 그러나 어휘의 크기 \(|\mathcal{V}|\)가 크고 소프트맥스를 통과했기 때문에 순위가 크게 감소하고 정보8이 손실됩니다.