In this section, we provide a brief qualitative evaluation of the models trained on German Common crawl (Sec. 6.3). We select five German prompts that contain various peculiarities of the German language (see Tab. 8). We then generate a fixed token-length response for each of the models trained or continually pre-trained on German Common Crawl. As a baseline, we also evaluate the same model trained only on the Pile.
이 섹션에서는 German Common Crawl(Sec. 6.3)에 대해 학습된 모델에 대한 간략한 정성적 평가를 제공합니다. 독일어의 다양한 특이점을 포함하는 5개의 독일어 프롬프트를 선택합니다(Tab. 8 참조). 그런 다음 German Common Crawl에 대해 학습하거나 지속적으로 사전 학습된 각 모델에 대해 고정 토큰 길이의 응답을 생성합니다. 기준선으로, Pile에서만 학습된 동일한 모델을 평가합니다.
이 섹션에서는 독일어 커먼 크롤링(Sec. 6.3)에 대해 학습된 모델에 대한 간략한 정성적 평가를 제공합니다. 독일어의 다양한 특이점을 포함하는 5개의 독일어 프롬프트를 선택합니다(Tab. 8 참조). 그런 다음 독일어 커먼 크롤링에 대해 학습하거나 지속적으로 사전 학습된 각 모델에 대해 고정 토큰 길이의 응답을 생성합니다. 기준선으로, Pile에서만 학습된 동일한 모델을 평가합니다.