In Figure 2, we evaluate performance on the real-world knowledge task for multiple checkpoints during pre-training, where accuracy is reported using best@1 sampling. We notice an upward trend in performance on the reverse task with no saturation at the last checkpoint. Hence, we assume that if we continue pre-training we would see further improvement.
그림 2에서는 pre-training 중 여러 체크포인트에 대한 실제 지식 작업의 성능을 평가한 것으로, 정확도는 best@1 샘플링을 사용하여 보고한다. 마지막 체크포인트에서 포화 상태 없이 역방향 작업의 성능이 상승하는 추세를 확인할 수 있다. 따라서 pre-training을 계속하면 더 많은 개선을 볼 수 있을 것으로 예상한다.
그림 2에서는 사전 학습 중 여러 체크포인트에 대한 실제 지식 작업의 성능을 평가한 것으로, 정확도는 최적@1 샘플링을 사용하여 보고한다. 마지막 체크포인트에서 포화 상태 없이 역방향 작업의 성능이 상승하는 추세를 확인할 수 있다. 따라서 사전 학습을 계속하면 더 많은 개선을 볼 수 있을 것으로 예상한다.