predicted [MASK] is not considered. Additionally, the introduction of [Mask] as a special marker in the input to replace the original Token creates inconsistency between the data in the Pre-Training stage and the Fine-Tuning stage, where [Mask] is not present. Self-encoding language models are commonly used in RALM architectures for natural language understanding (NLU) tasks.
예측된 [MASK]은 고려되지 않습니다. 또한 입력에서 [Mask]를 원래 Token을 대체하는 특수 마커로 도입하면 Pre-Training 단계와 [Mask]가 없는 Fine-Tuning 단계 간에 데이터의 불일치가 발생합니다. Self-encoding language models은 자연어 이해(NLU) 작업에서 일반적으로 RALM 아키텍처에 사용됩니다.
예측된 [MASK]은 고려되지 않습니다. 또한 입력에서 [마스크]를 원래 토큰을 대체하는 특수 마커로 도입하면 사전 학습 단계와 [마스크]가 없는 미세 조정 단계 간에 데이터의 불일치가 발생합니다. 자기 인코딩 언어 모델은 자연어 이해(NLU) 작업에서 일반적으로 RALM 아키텍처에 사용됩니다.