<commit_before># These will be added to the information from Morphy.
<form>Stasi</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Stasi</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=FEM>Stasi</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=FEM>Stasi</lemma>
<form>Virus</form>
<lemma wkl=SUB kas=NOM num=SIN gen=NEU>Virus</lemma>
<lemma wkl=SUB kas=GEN num=SIN gen=NEU>Virus</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=NEU>Virus</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=NEU>Virus</lemma>
<form>Papageien</form>
<lemma wkl=SUB kas=GEN num=SIN gen=MAS>Papagei</lemma>
<form>Pfiff</form>
<lemma wkl=SUB kas=NOM num=SIN gen=MAS>Pfiff</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=MAS>Pfiff</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=MAS>Pfiff</lemma>
<form>Würze</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Würze</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=FEM>Würze</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=FEM>Würze</lemma>
<lemma wkl=SUB kas=GEN num=SIN gen=FEM>Würze</lemma><commit_msg>adding word readings missing from Morphy<commit_after># These will be added to the information from Morphy using Morphy2Lucene.
# Encoding: cp1252
<form>Stasi</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Stasi</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=FEM>Stasi</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=FEM>Stasi</lemma>
<form>Virus</form>
<lemma wkl=SUB kas=NOM num=SIN gen=NEU>Virus</lemma>
<lemma wkl=SUB kas=GEN num=SIN gen=NEU>Virus</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=NEU>Virus</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=NEU>Virus</lemma>
<form>Papageien</form>
<lemma wkl=SUB kas=GEN num=SIN gen=MAS>Papagei</lemma>
<form>Pfiff</form>
<lemma wkl=SUB kas=NOM num=SIN gen=MAS>Pfiff</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=MAS>Pfiff</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=MAS>Pfiff</lemma>
<form>Würze</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Würze</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=FEM>Würze</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=FEM>Würze</lemma>
<lemma wkl=SUB kas=GEN num=SIN gen=FEM>Würze</lemma>
<form>Homosexueller</form>
<lemma wkl=SUB kas=NOM num=SIN gen=MAS>Homosexueller</lemma>
<form>Homosexuelle</form>
<lemma wkl=SUB kas=NOM num=PLU gen=MAS>Homosexueller</lemma>
<form>Homosexuellen</form>
<lemma wkl=SUB kas=AKK num=PLU gen=MAS>Homosexueller</lemma>
<lemma wkl=SUB kas=GEN num=PLU gen=MAS>Homosexueller</lemma>
<lemma wkl=SUB kas=DAT num=PLU gen=MAS>Homosexueller</lemma>
<form>Zugriff</form>
<lemma wkl=SUB kas=NOM num=SIN gen=MAS>Zugriff</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=MAS>Zugriff</lemma>
<form>Zugriffe</form>
<lemma wkl=SUB kas=NOM num=PLU gen=MAS>Zugriff</lemma>
<lemma wkl=SUB kas=GEN num=PLU gen=MAS>Zugriff</lemma>
<form>Zugriffs</form>
<lemma wkl=SUB kas=GEN num=SIN gen=MAS>Zugriff</lemma>
<form>Zugriffes</form>
<lemma wkl=SUB kas=GEN num=SIN gen=MAS>Zugriff</lemma>
<form>Zugriffen</form>
<lemma wkl=SUB kas=DAT num=PLU gen=MAS>Zugriff</lemma>
<form>Verbndeter</form>
<lemma wkl=SUB kas=NOM num=SIN gen=MAS>Verbndeter</lemma>
<form>Verbndete</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Verbndeter</lemma>
<lemma wkl=SUB kas=NOM num=PLU gen=MAS>Verbndeter</lemma>
<form>Verbndeten</form>
<lemma wkl=SUB kas=GEN num=SIN gen=MAS>Verbndeter</lemma>
<lemma wkl=SUB kas=GEN num=PLU gen=MAS>Verbndeter</lemma>
<lemma wkl=SUB kas=AKK num=SIN gen=MAS>Verbndeter</lemma>
<lemma wkl=SUB kas=AKK num=PLU gen=MAS>Verbndeter</lemma>
<lemma wkl=SUB kas=DAT num=SIN gen=MAS>Verbndeter</lemma>
<lemma wkl=SUB kas=DAT num=PLU gen=MAS>Verbndeter</lemma>
<form>Schliche</form>
<lemma wkl=SUB kas=NOM num=PLU gen=FEM>Schliche</lemma>
<form>Krze</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Krze</lemma>
<form>Trotz</form>
<lemma wkl=SUB kas=NOM num=SIN gen=MAS>Trotz</lemma>
<form>Sttze</form>
<lemma wkl=SUB kas=NOM num=SIN gen=FEM>Sttze</lemma>
{'fraction_non_alphanumeric': 0.16701902748414377, 'fraction_numerical': 0.001321353065539112, 'mean_word_length': 8.209245742092458, 'pattern_counts': {'":': 0, '<': 163, '<?xml version=': 0, '>': 163, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6434945', 'n_tokens_mistral': 1790, 'n_tokens_neox': 1723, 'n_words': 328}