BART(Lewis et al., 2019) is an Encoder-Decoder model that allows for arbitrary noise transformations, as the input to the encoder does not need to align with the output of the decoder. In this case, the document is corrupted by replacing the text span with mask symbols. For pre-training, the researchers proposed five models: Token Masking, Token Deletion, Text Infilling, Sentence Permutation, and Document Rotation. For fine-tuning, the encoder and decoder are fed an uncorrupted document, and the representation of the final hidden state from the decoder is used. Many researchers(Thulke et al., 2021) (Siriwardhana et al., 2023) (Lewis et al., 2019) have adopted BART as the language model in the RALM architecture due to its comprehensive and novel pre-training approach, which greatly enhances the model's robustness.
BART(Lewis et al., 2019)는 Encoder-Decoder 모델로, 인코더의 입력이 디코더의 출력과 일치할 필요가 없기 때문에 임의의 노이즈 변환을 허용합니다. 이 경우 문서는 텍스트 범위를 마스크 기호로 대체하여 손상됩니다. Pre-training을 위해 연구자들은 Token Masking, Token Deletion, Text Infilling, Sentence Permutation, 그리고 Document Rotation의 다섯 가지 모델을 제안했습니다. Fine-tuning의 경우 인코더와 디코더에 손상되지 않은 문서가 공급되며, 디코더의 최종 숨겨진 상태 표현을 사용합니다. 많은 연구자(Thulke et al., 2021) (Siriwardhana et al., 2023) (Lewis et al., 2019)는 모델의 Robustness를 크게 향상시키는 포괄적이고 새로운 Pre-training 접근 방식으로 인해 BART를 RALM 아키텍처의 언어 모델로 채택했습니다.
BART(Lewis et al., 2019)는 인코더의 입력이 디코더의 출력과 일치할 필요가 없기 때문에 임의의 노이즈 변환을 허용하는 인코더-디코더 모델입니다. 이 경우 문서는 텍스트 범위를 마스크 기호로 대체하여 손상됩니다. 사전 학습을 위해 연구자들은 토큰 마스킹, 토큰 삭제, 텍스트 채우기, 문장 순열, 문서 회전의 다섯 가지 모델을 제안했습니다. 미세 조정의 경우 인코더와 디코더에 손상되지 않은 문서가 공급되며, 디코더의 최종 숨겨진 상태 표현을 사용합니다. 많은 연구자(Thulke et al., 2021) (Siriwardhana et al., 2023) (Lewis et al., 2019)는 모델의 견고성을 크게 향상시키는 포괄적이고 새로운 사전 학습 접근 방식으로 인해 BART를 RALM 아키텍처의 언어 모델로 채택했습니다.