**MoD:** In [92], Tay et al. presented a generalized and unified perspective for self-supervision in NLP and show how different pre-training objectives can be cast as one another and how interpolating between different objectives can be effective. They proposed Mixture-of-Denoisers (MoD), a pre-training objective that combines diverse pre-training paradigms together. This framework is known as Unifying Language Learning (UL2). An overview of UL2 pretraining paradigm is shown in Fig 21.
**MoD:** [92]에서 Tay 등은 NLP에서 self-supervision을 위한 일반화되고 통합된 관점을 제시하고 다양한 pre-training objectives가 서로 어떻게 투영될 수 있는지, 그리고 다양한 objectives 사이를 보간하는 것이 어떻게 효과적일 수 있는지 보여주었습니다. 이들은 다양한 pre-training paradigms을 함께 결합하는 pre-training objective인 Mixture-of-Denoisers (MoD)를 제안했습니다. 이 프레임워크는 Unifying Language Learning (UL2)으로 알려져 있습니다. UL2 pretraining paradigm에 대한 개요는 그림 21에 나와 있습니다.
**MoD:** [92]에서 Tay 등은 NLP에서 자가 감독을 위한 일반화되고 통합된 관점을 제시하고 다양한 사전 학습 목표가 서로 어떻게 투영될 수 있는지, 그리고 다양한 목표 사이를 보간하는 것이 어떻게 효과적일 수 있는지 보여주었습니다. 이들은 다양한 사전 학습 패러다임을 함께 결합하는 사전 학습 목표인 혼합 잡음 제거기(MoD)를 제안했습니다. 이 프레임워크는 언어 학습 통합(UL2)으로 알려져 있습니다. UL2 사전 학습 패러다임에 대한 개요는 그림 21에 나와 있습니다.