Solving for equation 2 does not minimize the risk over C4-only, and hence it is unfair to compare \(\theta_{\mathcal{C}4}\) and \(\theta_{\mathbf{WRAP}}\) on the C4. For meaningfully comparing models trained on the C4 and on its synthetic rephrases, we evaluate their generalization capability on 21 different domains of the Pile (Gao et al., 2020). Results for each domain are presented in Figure 2.
방정식 2를 풀면 C4 전용 위험이 최소화되지 않으므로 C4에서 \(\theta_{\mathcal{C}4}\)와 \(\theta_{\mathbf{WRAP}}\)를 비교하는 것은 불공정합니다. C4와 그 합성 문구로 학습된 모델을 의미 있게 비교하기 위해 Pile의 21개의 서로 다른 도메인(Gao et al., 2020)에 대한 generalization 능력을 평가합니다. 각 도메인에 대한 결과는 그림 2에 나와 있습니다.
방정식 2를 풀면 C4 전용 위험이 최소화되지 않으므로 C4에서 \(\theta_{\mathcal{C}4}\)와 \(\theta_{\mathbf{WRAP}}\)를 비교하는 것은 불공정합니다. C4와 그 합성 문구로 학습된 모델을 의미 있게 비교하기 위해 Pile의 21개의 서로 다른 도메인(Gao et al., 2020)에 대한 일반화 능력을 평가합니다. 각 도메인에 대한 결과는 그림 2에 나와 있습니다.