MASS (MASked Sequence to Sequence pre-training) [54] adopts the encoder-decoder framework to reconstruct a sentence fragment given the remaining part of the sentence. The encoder takes a sentence with randomly masked fragment (several consecutive tokens) as input, and the decoder predicts the masked fragment. In this way, MASS jointly trains the encoder and decoder for language embedding and generation, respectively.
MASS(MASked Sequence to Sequence 사전 학습) [54]는 Encoder-Decoder 프레임워크를 채택하여 문장의 나머지 부분이 주어졌을 때 문장 조각을 재구성합니다. Encoder는 무작위로 마스킹된 조각(연속된 몇 개의 토큰)이 있는 문장을 입력으로 받고, Decoder는 마스킹된 조각을 예측합니다. 이러한 방식으로 MASS는 언어 임베딩과 생성을 위해 각각 Encoder와 Decoder를 공동으로 학습합니다.
MASS(MASked Sequence to Sequence 사전 학습) [54]는 인코더-디코더 프레임워크를 채택하여 문장의 나머지 부분이 주어졌을 때 문장 조각을 재구성합니다. 인코더는 무작위로 마스킹된 조각(연속된 몇 개의 토큰)이 있는 문장을 입력으로 받고, 디코더는 마스킹된 조각을 예측합니다. 이러한 방식으로 MASS는 언어 임베딩과 생성을 위해 각각 인코더와 디코더를 공동으로 학습합니다.