Table 3 reports the average accuracy of each model for our English evaluation tasks and the normalized accuracy for the German Hella Swag evaluation task. We do not report the average German evaluation score as it is not informative due to evaluations having near-random chance accuracy (see Table 11). We observe that English models consistently outperform German models on the English evaluations. However, the strong replay used with the 25% replay German model helps to reduce this gap. English models' English evaluation performance is very similar with a range of 1.19 between the highest and lowest values. We suspect that there is significant noise in the evaluation process for base models of this size and believe that the differences are likely not significant. That being said, the continually pre-trained model with LR re-warming, LR re-decaying, and replay does improve on the \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) model. When evaluating German-trained models on English evaluation tasks, we see consistent improvements for models using more replay. We note that once again the model trained with LR re-warming, LR re-decaying, and replay does improve on the \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) model. Turning to the German Hella Swag results we observe that German models consistently outperform their English counterparts. Among German-trained models, the continually trained models outperform the union-trained model and the model trained exclusively on German.
표 3은 영어 평가 작업에 대한 각 모델의 평균 정확도와 독일어 Hella Swag 평가 작업에 대한 정규화된 정확도를 보고합니다. 평가가 거의 무작위로 정확도가 낮기 때문에 영어 평가 점수의 평균은 유의미하지 않으므로 보고하지 않습니다(표 11 참조). 영어 모델이 영어 평가에서 독일어 모델보다 일관되게 높은 성능을 보이는 것을 관찰할 수 있습니다. 그러나 25% replay 독일어 모델과 함께 사용된 강력한 replay는 이러한 격차를 줄이는 데 도움이 됩니다. 영어 모델의 영어 평가 성능은 최고값과 최저값 사이의 1.19 범위로 매우 유사합니다. 이 크기의 기본 모델에 대한 평가 과정에 상당한 노이즈가 있다고 생각하며, 이러한 차이는 유의미하지 않을 것으로 생각합니다. 하지만 Learning Rate 재가열, Learning Rate 재감쇠 및 replay로 지속적으로 사전 학습된 모델은 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) 모델을 개선합니다. 영어 평가 작업에서 독일어로 훈련된 모델을 평가할 때, 더 많은 replay를 사용하는 모델에 대해 일관된 개선 사항을 확인할 수 있습니다. 다시 한 번 Learning Rate 재가열, Learning Rate 재감쇠 및 replay로 훈련된 모델이 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) 모델을 개선한다는 점에 주목합니다. 독일어 Hella Swag 결과를 살펴보면 독일어 모델이 영어 모델보다 일관되게 우수한 성능을 발휘하는 것을 관찰할 수 있습니다. 독일어로 훈련된 모델 중에서도 지속적으로 훈련된 모델이 합집합 훈련 모델과 독일어로만 훈련된 모델보다 우수한 성능을 보였습니다.
표 3은 영어 평가 작업에 대한 각 모델의 평균 정확도와 독일어 헬라 스웩 평가 작업에 대한 정규화된 정확도를 보고합니다. 평가가 거의 무작위로 정확도가 낮기 때문에 영어 평가 점수의 평균은 유의미하지 않으므로 보고하지 않습니다(표 11 참조). 영어 모델이 영어 평가에서 독일어 모델보다 일관되게 높은 성능을 보이는 것을 관찰할 수 있습니다. 그러나 25% 리플레이 독일어 모델과 함께 사용된 강력한 리플레이는 이러한 격차를 줄이는 데 도움이 됩니다. 영어 모델의 영어 평가 성능은 최고값과 최저값 사이의 1.19 범위로 매우 유사합니다. 이 크기의 기본 모델에 대한 평가 과정에 상당한 노이즈가 있다고 생각하며, 이러한 차이는 유의미하지 않을 것으로 생각합니다. 하지만 LR 재가열, LR 재감쇠 및 리플레이로 지속적으로 사전 학습된 모델은 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) 모델을 개선합니다. 영어 평가 작업에서 독일어로 훈련된 모델을 평가할 때, 더 많은 리플레이를 사용하는 모델에 대해 일관된 개선 사항을 확인할 수 있습니다. 다시 한 번 LR 재가열, LR 재감쇠 및 리플레이로 훈련된 모델이 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) 모델을 개선한다는 점에 주목합니다. 독일어 헬라 스웩 결과를 살펴보면 독일어 모델이 영어 모델보다 일관되게 우수한 성능을 발휘하는 것을 관찰할 수 있습니다. 독일어로 훈련된 모델 중에서도 지속적으로 훈련된 모델이 합집합 훈련 모델과 독일어로만 훈련된 모델보다 우수한 성능을 보였습니다.