**Denoising Autoencoding.** In addition to conventional LM, the denoising autoencoding task (DAE) has also been widely used to pre-train language models [82, 24]. The inputs \(\mathbf{x}_{\setminus\hat{\mathbf{x}}}\) for DAE task are corrupted text with randomly replaced spans. Then, the language models are trained to recover the replaced tokens \(\tilde{\mathbf{x}}\).
**Denoising Autoencoding.** 기존 LM 외에도 denoising autoencoding 작업(DAE)도 언어 모델을 사전 학습하는 데 널리 사용되었습니다[82, 24]. DAE 작업의 입력(\(\mathbf{x}_{\setminus\hat{\mathbf{x}}}\))은 무작위로 대체된 텍스트입니다. 그런 다음 언어 모델은 대체된 토큰(\(\tilde{\mathbf{x}}\))을 복구하도록 훈련됩니다.
**노이즈 제거 자동 인코딩**. 기존 LM 외에도 노이즈 제거 자동 인코딩 작업(DAE)도 언어 모델을 사전 학습하는 데 널리 사용되었습니다[82, 24]. DAE 작업의 입력(\mathbf{x}_{\setminus\hat{\mathbf{x}}}은 무작위로 대체된 텍스트입니다. 그런 다음 언어 모델은 대체된 토큰(\tilde{\mathbf{x}})을 복구하도록 훈련됩니다.