We provide the responses and a manual translation of the response in Table 9. While the relatively small 405M parameter models generally do not produce meaningful sentences, the model trained on German Common Crawl generally produces grammatically correct sentences. This includes correct upper and lower casing, the generation of compound words, and the use of Unlaut characters. In all cases, responses tend to be repetitive after a few words. The incompleteness and fractional words of some outputs can be attributed to the number of tokens generated being very short. Longer sequences tend to provide syntactically correct sentences but also tend to repeat themselves. The limited number of samples and the generally low quality of the generated text does not allow us to make robust statements of the qualitative differences between the individual models trained on German Common Crawl. However, the aforementioned problems of repetitiveness as well as grammatical errors seem to be significantly stronger on the Pile baseline, which generally fails to even respect the context given in the prompt. This is expected as the amount of German text is significantly smaller on the Pile.
표 9에 응답과 응답의 수동 번역을 제공합니다. 상대적으로 작은 405M 파라미터 모델은 일반적으로 의미 있는 문장을 생성하지 않지만, 독일어 Common Crawl로 학습된 모델은 일반적으로 문법적으로 올바른 문장을 생성합니다. 여기에는 올바른 대문자와 소문자, 합성어 생성, Unlaut 문자 사용 등이 포함됩니다. 모든 경우에서 응답은 몇 단어 이후에 반복되는 경향이 있습니다. 일부 출력의 불완전성 및 부분 단어는 생성된 토큰의 수가 매우 짧기 때문일 수 있습니다. 더 긴 시퀀스는 구문적으로 올바른 문장을 제공하는 경향이 있지만 자신을 반복하는 경향이 있습니다. 제한된 샘플 수와 일반적으로 생성된 텍스트의 품질이 낮기 때문에 독일어 Common Crawl로 학습된 개별 모델 간의 질적 차이에 대해 강력한 진술을 할 수 없습니다. 그러나 앞서 언급한 반복성 및 문법 오류 문제는 일반적으로 프롬프트에 주어진 문맥조차 지키지 못하는 Pile baseline에서 훨씬 더 심각해 보입니다. 이는 Pile에서 독일어 텍스트의 양이 훨씬 적기 때문에 예상되는 결과입니다.
표 9에 응답과 응답의 수동 번역을 제공합니다. 상대적으로 작은 405M 파라미터 모델은 일반적으로 의미 있는 문장을 생성하지 않지만, 독일어 커먼 크롤링으로 학습된 모델은 일반적으로 문법적으로 올바른 문장을 생성합니다. 여기에는 올바른 대문자와 소문자, 합성어 생성, 언라우트 문자 사용 등이 포함됩니다. 모든 경우에서 응답은 몇 단어 이후에 반복되는 경향이 있습니다. 일부 출력의 불완전성 및 부분 단어는 생성된 토큰의 수가 매우 짧기 때문일 수 있습니다. 더 긴 시퀀스는 구문적으로 올바른 문장을 제공하는 경향이 있지만 자신을 반복하는 경향이 있습니다. 제한된 샘플 수와 일반적으로 생성된 텍스트의 품질이 낮기 때문에 독일어 커먼 크롤링으로 학습된 개별 모델 간의 질적 차이에 대해 강력한 진술을 할 수 없습니다. 그러나 앞서 언급한 반복성 및 문법 오류 문제는 일반적으로 프롬프트에 주어진 문맥조차 지키지 못하는 Pile 기준에서 훨씬 더 심각해 보입니다. 이는 Pile에서 독일어 텍스트의 양이 훨씬 적기 때문에 예상되는 결과입니다.