However, the DAE task seems to be more complicated in implementation than LM task. As a result, it has not been widely used to pre-train large language models. Existing LLMs that take DAE as pre-training objectives include T5 [82] and GLM-130B [93]. These models are mainly trained to recover the replaced spans in an autoregressive way.
그러나 DAE 작업은 LM 작업보다 구현이 더 복잡해 보입니다. 그 결과 Large Language Models (LLMs)를 사전 학습하는 데 널리 사용되지 않았습니다. DAE를 사전 학습 목표로 하는 기존 LLM에는 T5 [82] 및 GLM-130B [93]가 있습니다. 이러한 모델은 주로 autoregressive 방식으로 대체된 범위를 복구하도록 훈련됩니다.
그러나 DAE 작업은 LM 작업보다 구현이 더 복잡해 보입니다. 그 결과 대규모 언어 모델을 사전 학습하는 데 널리 사용되지 않았습니다. DAE를 사전 학습 목표로 하는 기존 LLM에는 T5 [82] 및 GLM-130B [93]가 있습니다. 이러한 모델은 주로 자동 회귀 방식으로 대체된 범위를 복구하도록 훈련됩니다.