Given the poor performance of German models on all German evaluation tasks except HellaSwag (the same as English models on average), we further investigated their understanding of German by conducting a short qualitative study of model generations. In section A.4 of the appendix, we select five German prompts that contain various peculiarities of the German language (see Tab. 8 of the appendix). We then generate a fixed token-length response for each of the models trained German Common Crawl. As a baseline, we also evaluate the model trained only on the Pile. Despite the poor quality of generations at small model scale, we find that there is an observable improvement in the generative quality of German-language outputs from the models trained on German Common Crawl when compared to the Pile baseline, which tends to be systematically off-topic. This suggests that while our German-trained models have learned about the language, the evaluation tasks are too difficult to pick it up at the 405M parameter scale. Another reason is that the German dataset is smaller than the English datasets considered, and contains only web-scraped data, as opposed to the more sophisticated English datasets used in this work.
헬라스웩(영어 모델과 평균적으로 동일)을 제외한 모든 독일 평가 과제에서 독일 모델의 성능이 저조한 점을 감안하여 모델 생성에 대한 짧은 정성적 연구를 수행하여 독일어에 대한 이해를 추가로 조사했습니다. 부록의 섹션 A.4에서는 독일어의 다양한 특이점을 포함하는 5개의 독일어 프롬프트를 선정합니다(부록의 표 8 참조). 그런 다음 독일어 Common Crawl로 학습된 각 모델에 대해 고정 토큰 길이의 응답을 생성합니다. 기준선으로, 우리는 the Pile만 학습된 모델을 평가합니다. 작은 모델 규모에서 생성 품질이 떨어지는 것에도 불구하고, 체계적으로 주제에서 벗어나는 경향이 있는 the Pile 기준선과 비교했을 때 독일어 Common Crawl로 학습된 모델의 독일어 출력 생성 품질이 관찰 가능한 개선이 있음을 발견했습니다. 이는 독일어로 학습된 모델이 언어에 대해 학습했지만 평가 과제가 너무 어렵기 때문에 405M 파라미터 규모에서는 이를 픽업하기 어렵다는 것을 시사합니다. 또 다른 이유는 독일어 데이터 세트가 고려된 영어 데이터 세트보다 작고, 이 작업에 사용된 더 정교한 영어 데이터 세트와 달리 웹 스크래핑된 데이터만 포함하고 있기 때문입니다.
헬라스웩(영어 모델과 평균적으로 동일)을 제외한 모든 독일 평가 과제에서 독일 모델의 성능이 저조한 점을 감안하여 모델 생성에 대한 짧은 정성적 연구를 수행하여 독일어에 대한 이해를 추가로 조사했습니다. 부록의 섹션 A.4에서는 독일어의 다양한 특이점을 포함하는 5개의 독일어 프롬프트를 선정합니다(부록의 표 8 참조). 그런 다음 독일어 커먼 크롤링으로 학습된 각 모델에 대해 고정 토큰 길이의 응답을 생성합니다. 기준선으로, 우리는 더미만 학습된 모델을 평가합니다. 작은 모델 규모에서 생성 품질이 떨어지는 것에도 불구하고, 체계적으로 주제에서 벗어나는 경향이 있는 더미 기준선과 비교했을 때 독일어 커먼 크롤링으로 학습된 모델의 독일어 출력 생성 품질이 관찰 가능한 개선이 있음을 발견했습니다. 이는 독일어로 학습된 모델이 언어에 대해 학습했지만 평가 과제가 너무 어렵기 때문에 405M 파라미터 규모에서는 이를 픽업하기 어렵다는 것을 시사합니다. 또 다른 이유는 독일어 데이터 세트가 고려된 영어 데이터 세트보다 작고, 이 작업에 사용된 더 정교한 영어 데이터 세트와 달리 웹 스크래핑된 데이터만 포함하고 있기 때문입니다.