In Section 4, we see that D4, SSL prototypes, and SemDeDup achieves significant gains on perplexity (averaged across different validation sets) and downstream accuracy (averaged across different NLP tasks) compared to baseline training. Further, we generally see that D4 outperforms SSL prototypes and SemDeDup. In this section, we provide a more fine-grained analysis of these claims across individual tasks.
섹션 4에서는 D4, SSL 프로토타입 및 SemDeDup이 baseline 훈련에 비해 perplexity(다른 validation 세트 평균) 및 downstream 정확도(다른 NLP 작업 평균)에서 상당한 이득을 얻는다는 것을 알 수 있습니다. 또한 일반적으로 D4가 SSL 프로토타입과 SemDeDup보다 성능이 뛰어나다는 것을 알 수 있습니다. 이 섹션에서는 개별 작업에 걸쳐 이러한 주장에 대한 보다 세분화된 분석을 제공합니다.
섹션 4에서는 D4, SSL 프로토타입 및 SemDeDup이 기준선 훈련에 비해 난해함(다른 유효성 검사 세트 평균) 및 다운스트림 정확도(다른 NLP 작업 평균)에서 상당한 이득을 얻는다는 것을 알 수 있습니다. 또한 일반적으로 D4가 SSL 프로토타입과 SemDeDup보다 성능이 뛰어나다는 것을 알 수 있습니다. 이 섹션에서는 개별 작업에 걸쳐 이러한 주장에 대한 보다 세분화된 분석을 제공합니다.