Fig. 5: Cross-lingual language model pretraining. The MLM objective is similar to BERT, but with continuous streams of text as opposed to sentence pairs. The TLM objective extends MLM to pairs of parallel sentences. To predict a masked English word, the model can attend to both the English sentence and its French translation, and is encouraged to align English and French representations. Courtesy of [47].
그림 5: Cross-lingual language model pretraining. The MLM objective는 BERT와 유사하지만 문장 쌍이 아닌 연속적인 텍스트 스트림을 사용합니다. The TLM objective는 MLM을 병렬 문장 쌍으로 확장합니다. 마스킹된 영어 단어를 예측하기 위해 모델은 영어 문장과 프랑스어 번역 모두에 attention을 기울일 수 있으며, 영어와 프랑스어 표현을 정렬하도록 권장됩니다. [47]의 덕분입니다.
그림 5: 교차 언어 언어 모델 사전 학습. MLM 목표는 BERT와 유사하지만 문장 쌍이 아닌 연속적인 텍스트 스트림을 사용합니다. TLM 목표는 MLM을 병렬 문장 쌍으로 확장합니다. 마스킹된 영어 단어를 예측하기 위해 모델은 영어 문장과 프랑스어 번역 모두에 주의를 기울일 수 있으며, 영어와 프랑스어 표현을 정렬하도록 권장됩니다. [47]의 덕분입니다.