Our proposed approach is to learn a conditional language model that maps from next-token probabilities back to tokens: \(p(x_{1:T}\mid\mathbf{v})\). We parameterize this distribution using a pretrained Transformer language model and train on samples from the unconditional model. Following work from Dumoulin et al. (2018) on feature-level conditioning, we use the cross-attention in an encoder-decoder Transformer to condition on the next-token vector.
우리가 제안하는 접근 방식은 다음 토큰 확률을 토큰으로 다시 매핑하는 조건부 언어 모델을 학습하는 것입니다: \(p(x_{1:T}\mid\mathbf{v})\). 우리는 사전 학습된 Transformer 언어 모델을 사용하여 이 분포를 매개변수화하고 무조건 모델의 샘플에 대해 학습합니다. 특징 수준 조건부에 대한 Dumoulin 등(2018)의 작업에 따라 Encoder-Decoder Transformer의 cross-attention을 사용하여 다음 토큰 벡터에 조건을 지정합니다.
우리가 제안하는 접근 방식은 다음 토큰 확률을 토큰으로 다시 매핑하는 조건부 언어 모델을 학습하는 것입니다: \(p(x_{1:T}\mid\mathbf{v})\). 우리는 사전 학습된 트랜스포머 언어 모델을 사용하여 이 분포를 매개변수화하고 무조건 모델의 샘플에 대해 학습합니다. 특징 수준 조건부에 대한 Dumoulin 등(2018)의 작업에 따라 인코더-디코더 트랜스포머의 교차 주의를 사용하여 다음 토큰 벡터에 조건을 지정합니다.