ETS-DACP has the highest loss for open domain Pile loss. However, we did not observe any degradation of performance on open domain tasks with ETS-DACP. Surprisingly, there is a tight correlation between losses of ETS-DACP-ent and ETS-DACP-ppl, while ETS-DACP-ppl performs consistently and considerably worse than ETS-DACP-ent on our tasks. These observations suggest that there is no good correlation between actual our task performance and loss curves.
ETS-DACP는 오픈 도메인 Pile Loss가 가장 높습니다. 그러나 ETS-DACP를 사용해도 오픈 도메인 작업의 성능 저하를 관찰하지 못했습니다. 놀랍게도 ETS-DACP-ent와 ETS-DACP-ppl의 Loss 사이에는 밀접한 상관관계가 있는 반면, ETS-DACP-ppl은 우리 작업에서 ETS-DACP-ent보다 일관되고 상당히 더 나쁜 성능을 보입니다. 이러한 관찰 결과는 실제 작업 성능과 Loss 곡선 사이에 좋은 상관관계가 없음을 시사합니다.
ETS-DACP는 오픈 도메인 Pile 손실이 가장 높습니다. 그러나 ETS-DACP를 사용해도 오픈 도메인 작업의 성능 저하를 관찰하지 못했습니다. 놀랍게도 ETS-DACP-ent와 ETS-DACP-ppl의 손실 사이에는 밀접한 상관관계가 있는 반면, ETS-DACP-ppl은 우리 작업에서 ETS-DACP-ent보다 일관되고 상당히 더 나쁜 성능을 보입니다. 이러한 관찰 결과는 실제 작업 성능과 손실 곡선 사이에 좋은 상관관계가 없음을 시사합니다.