**Mixture-of-Denoisers.** Mixture-of-Denoisers (MoD) [89], also known as UL2 loss, was introduced as a unified objective for pre-training language models. MoD regards both LM and DAE objectives as different types of denoising tasks, namely S-denoiser (LM), R-denoiser (DAE, short span and low corruption), and X-denoiser (DAE, long span or high corruption). Among the three denoising tasks, S-denoiser is similar to the conventional LM objective (Equation (6)), while R-denoiser and X-denoiser are similar to DAE objectives (Equation (7)) but differ from each other in the lengths of spans and ratio of corrupted text. For input sentences started with different special tokens (_i.e._, {[R],[S], [X]}), the model will be optimized using the corresponding denoisers. MoD has been applied in the latest PaLM 2 model [120].
**혼합 잡음 제거기.** UL2 손실이라고도 알려진 Mixture-of-Denoisers (MoD) [89]는 언어 모델을 사전 학습하기 위한 통합된 목표로 소개되었습니다. MoD는 LM과 DAE 목표를 서로 다른 유형의 노이즈 제거 작업, 즉 S-denoiser (LM), R-denoiser (DAE, 짧은 범위 및 낮은 손상), X-denoiser (DAE, 긴 범위 또는 높은 손상)로 간주합니다. 세 가지 노이즈 제거 작업 중 S-denoiser는 기존 LM 목표(방정식 (6))와 유사하며, R-denoiser와 X-denoiser는 DAE 목표(방정식 (7))와 유사하지만 범위의 길이와 손상된 텍스트의 비율에서 서로 다릅니다. 다른 특수 토큰([R],[S], [X])으로 시작되는 입력 문장의 경우, 해당 노이즈 제거기를 사용하여 모델을 최적화합니다. MoD는 최신 PaLM 2 모델 [120]에 적용되었습니다.
**혼합 잡음 제거기.** UL2 손실이라고도 알려진 혼합 잡음 제거기(MoD) [89]는 언어 모델을 사전 학습하기 위한 통합된 목표로 소개되었습니다. MoD는 LM과 DAE 목표를 서로 다른 유형의 노이즈 제거 작업, 즉 S-노이즈 제거기(LM), R-노이즈 제거기(DAE, 짧은 범위 및 낮은 손상), X-노이즈 제거기(DAE, 긴 범위 또는 높은 손상)로 간주합니다. 세 가지 노이즈 제거 작업 중 S-노이즈 제거기는 기존 LM 목표(방정식 (6))와 유사하며, R-노이즈 제거기와 X-노이즈 제거기는 DAE 목표(방정식 (7))와 유사하지만 범위의 길이와 손상된 텍스트의 비율에서 서로 다릅니다. 다른 특수 토큰([R],[S], [X])으로 시작되는 입력 문장의 경우, 해당 노이즈 제거기를 사용하여 모델을 최적화합니다. MoD는 최신 PaLM 2 모델 [120]에 적용되었습니다.