<commit_before># German confusion sets
# Line format: see en/confusion_sets.txt

ach; auch; 100000000;                              # p=0.996, r=0.584, 249+1000, 3grams, 2016-09-27
auch; such; 1000000000;                            # p=0.999, r=0.679, 998+65, 3grams, 2016-09-27
als; also; 10000000                                # p=1.000, r=0.145, 993+1000, 3grams, 2016-01-18
dich; doch; 100000000;                             # p=0.997, r=0.306, 1000+1000, 3grams, 2016-10-13
drei; frei; 100000;                                # p=1.000, r=0.579, 905+989, 3grams, 2016-09-23
fielen|zu 'fallen'; vielen; 1000000                # p=0.997, r=0.578, 1894, 3grams, 2015-08-19 FAs: "vielen ... zu/aus"
fiele|zu 'fallen'; viele; 10000                    # p=0.999, r=0.877, 1011, 3grams, 2015-08-19 FAs: "er fiele sich selbst zur Last"
fiel|zu 'fallen'; viel; 1000000                    # p=0.998, r=0.556, 1999, 3grams, 2015-08-19 FAs: "fiel zu seinem Nachteil aus"
Gebäck; Gepäck; 100000                             # p=1.000, r=0.293, 56+135, 3grams, 2015-12-29
Hefe; Hefte; 1000;                                 # p=1.000, r=0.412, 97+199, 3grams, 2016-09-23
ihm; im; 1000000000;                               # p=1.000, r=0.544, 1000+1000, 3grams, 2016-10-26
im; um; 1000000                                    # p=0.999, r=0.686, 2000, 3grams, 2015-08-19
legen; lägen|Konjunktiv von 'liegen'; 100000;      # p=1.000, r=0.512, 24+779, 3grams, 2016-09-23
Leere|Nichts; Lehre|Ausbildung; 10000000           # p=1.000, r=0.354, 319+999, 3grams, 2016-03-30
Lid|Augenlid; Lied|Musikstück; 1000000             # p=1.000, r=0.458, 1000+15, 3grams, 2016-03-30
Mark; Markt; 1000000;                              # p=1.000, r=0.450, 1000+986, 3grams, 2016-08-19
Mediation|Verfahren zur Konfliktlösung; Meditation|spirituelle Übung; 10000                       # p=1.000, r=0.171, 258, 3grams, 2015-08-19 - note the low recall
Miene|Gesichtsausdruck; Mine|Bergwerk/Schreibgerät; 10000  # p=1.000, r=0.161, 35+164, 3grams, 2016-03-30
mir; mit; 100000                                   # p=0.999, r=0.736, 2000, 3grams, 2015-08-19
Motte; Motto; 100000                               # p=1.000, r=0.518, 375+73, 3grams, 2016-01-22
Patenten; Patienten; 10000000                      # p=0.995, r=0.610, 1038, 3grams, 2015-11-28
sehr; seht; 100000                                 # p=0.999, r=0.893, 1058, 3grams, 2015-08-27
sich; such; 100000                                 # p=0.999, r=0.927, 1065, 3grams, 2015-08-28
Sohle|Schuhe/Bergbau; Sole|wässrige Salzlösung; 10000  # p=1.000, r=0.223, 93+64, 3grams, 2016-03-30
#staatlichem; stattlichem; 10000                   # no eval data yet
staatlichen; stattlichen; 10000                    # p=0.999, r=0.712, 17+1000, 3grams, 2016-02-26
staatlicher; stattlicher; 10000                    # p=1.000, r=0.665, 5+255, 3grams, 2016-02-26
staatliches; stattliches; 10000                    # p=1.000, r=0.571, 7+140, 3grams, 2016-02-26
staatliche; stattliche; 10000                      # p=0.996, r=0.532, 30+1000, 3grams, 2016-02-26
staatlich; stattlich; 10000                        # p=1.000, r=0.727, 3+441, 3grams, 2016-02-26
strickt|Form von 'stricken'; strikt|streng; 1000   # p=1.000, r=0.756, 217, 3grams, 2015-09-01 wenige Beispielsätze zu "strickt"
und; uns; 10000000000                              # p=1.000, r=0.222, 1000+993, 3grams, 2016-03-02
war; was; 1000000                                  # p=1.000, r=0.591, 1000+1000, 3grams, 2016-01-23 FAs: "War außer Euch...", "Noch was:"
wie; wir; 10000                                    # p=1.000, r=0.819, 2000, 3grams, 2015-08-19
wir; wird; 1000                                    # p=1.000, r=0.852, 1999, 3grams, 2015-08-19
wer; wär; 100000000                                # p=1.000, r=0.740, 1083, 3grams, 2015-09-10
Würste; Wüste; 10000                               # p=0.996, r=0.528, 502+25, 3grams, 2016-01-05
Zeilen; Zielen; 100000                             # p=0.996, r=0.336, 761, 3grams, 2015-12-02
Zeile; Ziele; 1000000                              # p=0.999, r=0.484, 1408, 3grams, 2015-12-02

#angeschlossen; angeschossen; 100                  # p=0.988, r=0.577, 968, 3grams, 2015-08-17
#biss|beißen; bis|von ... bis ...; 1000000000;      # p=0.995, r=0.688, 102+998, 3grams, 2016-04-05
#das; dass; 1000000                                # p=1.000, r=0.420, 2000, 3grams, 2015-08-28  --> try 4 grams
#den; denn; 100000                                 # p=0.996, r=0.574, 1979, 3grams, 2015-08-17 
#die; sie; 1000000                                 # p=0.993, r=0.368, 2000, 3grams, 2015-08-19
#feiern; feuern; 10000                             # p=0.968, r=0.231, 523, 3grams, 2015-08-19
#Ferse;Verse; 10000000                             # p=0.976, r=0.151, 29+236, 3grams, 2016-03-30
#Finder; Finger; 1000000                           # p=0.983, r=0.496, 472, 3grams, 2015-08-29
#Finte; Flinte; 10                                 # p=0.938, r=0.556, 27, 3grams, 2015-08-19
#furchtbar; fruchtbar; 1000                        # p=0.989, r=0.550, 169, 3grams, 2015-08-19
#gefeiert; gefeuert; 10000                         # p=0.975, r=0.294, 790, 3grams, 2015-08-19
#Gesten; Gestern; 100                              # p=0.996, r=0.448, 1077, 3grams, 2015-08-17
#gewaschen; gewachsen; 1000000                     # p=0.995, r=0.461, 414, 3grams, 2015-08-29
#gründlich; grünlich; 100                          # p=0.958, r=0.553, 206, 3grams, 2015-08-19
#manieriert; mariniert; 10000                      # p=1.000, r=0.026, 39, 3grams, 2015-12-07
#Städte|Plural von 'Stadt'; Stätte; 10000000       # p=0.991, r=0.417, 955+99, 3grams, 2016-03-30
#Ställe; Stelle; 10000000                          # p=0.995, r=0.747, 23+998, 3grams, 2016-03-30
#unternehmen; Unternehmen; 1000                    # p=0.993, r=0.821, 1181, 3grams, 2015-08-18
#wahr; war; 10000                                  # p=0.956, r=0.723, 1998, 3grams, 2015-08-19; sehr viele FAs: "nahm|nimmt|nehmen|nähmen ... wahr"
#wen; wenn; 10000000000;                           # p=0.978, r=0.545, 235+999, 3grams, 2016-08-13
#ei; ein; 10000000000;                             # p=0.995, r=0.394, 389+1000, 3grams, 2016-08-13
#werden; werfen; 100000000000;                     # p=0.983, r=0.251, 1000+393, 3grams, 2016-09-23<commit_msg>[de] adding candidates (commented out)<commit_after># German confusion sets
# Line format: see en/confusion_sets.txt

ach; auch; 100000000;                              # p=0.996, r=0.584, 249+1000, 3grams, 2016-09-27
auch; such; 1000000000;                            # p=0.999, r=0.679, 998+65, 3grams, 2016-09-27
als; also; 10000000                                # p=1.000, r=0.145, 993+1000, 3grams, 2016-01-18
dich; doch; 100000000;                             # p=0.997, r=0.306, 1000+1000, 3grams, 2016-10-13
drei; frei; 100000;                                # p=1.000, r=0.579, 905+989, 3grams, 2016-09-23
fielen|zu 'fallen'; vielen; 1000000                # p=0.997, r=0.578, 1894, 3grams, 2015-08-19 FAs: "vielen ... zu/aus"
fiele|zu 'fallen'; viele; 10000                    # p=0.999, r=0.877, 1011, 3grams, 2015-08-19 FAs: "er fiele sich selbst zur Last"
fiel|zu 'fallen'; viel; 1000000                    # p=0.998, r=0.556, 1999, 3grams, 2015-08-19 FAs: "fiel zu seinem Nachteil aus"
Gebäck; Gepäck; 100000                             # p=1.000, r=0.293, 56+135, 3grams, 2015-12-29
Hefe; Hefte; 1000;                                 # p=1.000, r=0.412, 97+199, 3grams, 2016-09-23
ihm; im; 1000000000;                               # p=1.000, r=0.544, 1000+1000, 3grams, 2016-10-26
im; um; 1000000                                    # p=0.999, r=0.686, 2000, 3grams, 2015-08-19
legen; lägen|Konjunktiv von 'liegen'; 100000;      # p=1.000, r=0.512, 24+779, 3grams, 2016-09-23
Leere|Nichts; Lehre|Ausbildung; 10000000           # p=1.000, r=0.354, 319+999, 3grams, 2016-03-30
Lid|Augenlid; Lied|Musikstück; 1000000             # p=1.000, r=0.458, 1000+15, 3grams, 2016-03-30
Mark; Markt; 1000000;                              # p=1.000, r=0.450, 1000+986, 3grams, 2016-08-19
Mediation|Verfahren zur Konfliktlösung; Meditation|spirituelle Übung; 10000                       # p=1.000, r=0.171, 258, 3grams, 2015-08-19 - note the low recall
Miene|Gesichtsausdruck; Mine|Bergwerk/Schreibgerät; 10000  # p=1.000, r=0.161, 35+164, 3grams, 2016-03-30
mir; mit; 100000                                   # p=0.999, r=0.736, 2000, 3grams, 2015-08-19
Motte; Motto; 100000                               # p=1.000, r=0.518, 375+73, 3grams, 2016-01-22
Patenten; Patienten; 10000000                      # p=0.995, r=0.610, 1038, 3grams, 2015-11-28
sehr; seht; 100000                                 # p=0.999, r=0.893, 1058, 3grams, 2015-08-27
sich; such; 100000                                 # p=0.999, r=0.927, 1065, 3grams, 2015-08-28
Sohle|Schuhe/Bergbau; Sole|wässrige Salzlösung; 10000  # p=1.000, r=0.223, 93+64, 3grams, 2016-03-30
#staatlichem; stattlichem; 10000                   # no eval data yet
staatlichen; stattlichen; 10000                    # p=0.999, r=0.712, 17+1000, 3grams, 2016-02-26
staatlicher; stattlicher; 10000                    # p=1.000, r=0.665, 5+255, 3grams, 2016-02-26
staatliches; stattliches; 10000                    # p=1.000, r=0.571, 7+140, 3grams, 2016-02-26
staatliche; stattliche; 10000                      # p=0.996, r=0.532, 30+1000, 3grams, 2016-02-26
staatlich; stattlich; 10000                        # p=1.000, r=0.727, 3+441, 3grams, 2016-02-26
strickt|Form von 'stricken'; strikt|streng; 1000   # p=1.000, r=0.756, 217, 3grams, 2015-09-01 wenige Beispielsätze zu "strickt"
und; uns; 10000000000                              # p=1.000, r=0.222, 1000+993, 3grams, 2016-03-02
war; was; 1000000                                  # p=1.000, r=0.591, 1000+1000, 3grams, 2016-01-23 FAs: "War außer Euch...", "Noch was:"
wie; wir; 10000                                    # p=1.000, r=0.819, 2000, 3grams, 2015-08-19
wir; wird; 1000                                    # p=1.000, r=0.852, 1999, 3grams, 2015-08-19
wer; wär; 100000000                                # p=1.000, r=0.740, 1083, 3grams, 2015-09-10
Würste; Wüste; 10000                               # p=0.996, r=0.528, 502+25, 3grams, 2016-01-05
Zeilen; Zielen; 100000                             # p=0.996, r=0.336, 761, 3grams, 2015-12-02
Zeile; Ziele; 1000000                              # p=0.999, r=0.484, 1408, 3grams, 2015-12-02

#angeschlossen; angeschossen; 100                  # p=0.988, r=0.577, 968, 3grams, 2015-08-17
#biss|beißen; bis|von ... bis ...; 1000000000;     # p=0.995, r=0.688, 102+998, 3grams, 2016-04-05
#das; dass; 1000000                                # p=1.000, r=0.420, 2000, 3grams, 2015-08-28  --> try 4 grams
#den; denn; 100000                                 # p=0.996, r=0.574, 1979, 3grams, 2015-08-17 
#die; sie; 1000000                                 # p=0.993, r=0.368, 2000, 3grams, 2015-08-19
#feiern; feuern; 10000                             # p=0.968, r=0.231, 523, 3grams, 2015-08-19
#Ferse;Verse; 10000000                             # p=0.976, r=0.151, 29+236, 3grams, 2016-03-30
#Finder; Finger; 1000000                           # p=0.983, r=0.496, 472, 3grams, 2015-08-29
#Finte; Flinte; 10                                 # p=0.938, r=0.556, 27, 3grams, 2015-08-19
#furchtbar; fruchtbar; 1000                        # p=0.989, r=0.550, 169, 3grams, 2015-08-19
#gefeiert; gefeuert; 10000                         # p=0.975, r=0.294, 790, 3grams, 2015-08-19
#Gesten; Gestern; 100                              # p=0.996, r=0.448, 1077, 3grams, 2015-08-17
#gewaschen; gewachsen; 1000000                     # p=0.995, r=0.461, 414, 3grams, 2015-08-29
#Grad; Grat; 10000000;                             # p=0.992, r=0.575, 994+56, 3grams, 2016-10-28
#gründlich; grünlich; 100                          # p=0.958, r=0.553, 206, 3grams, 2015-08-19
#hast; hasst; 10000000;                            # p=0.991, r=0.774, 998+102, 3grams, 2016-10-28
#manieriert; mariniert; 10000                      # p=1.000, r=0.026, 39, 3grams, 2015-12-07
#Städte|Plural von 'Stadt'; Stätte; 10000000       # p=0.991, r=0.417, 955+99, 3grams, 2016-03-30
#Ställe; Stelle; 10000000                          # p=0.995, r=0.747, 23+998, 3grams, 2016-03-30
#unternehmen; Unternehmen; 1000                    # p=0.993, r=0.821, 1181, 3grams, 2015-08-18
#wahr; war; 10000                                  # p=0.956, r=0.723, 1998, 3grams, 2015-08-19; sehr viele FAs: "nahm|nimmt|nehmen|nähmen ... wahr"
#wen; wenn; 10000000000;                           # p=0.978, r=0.545, 235+999, 3grams, 2016-08-13
#ei; ein; 10000000000;                             # p=0.995, r=0.394, 389+1000, 3grams, 2016-08-13
#werden; werfen; 100000000000;                     # p=0.983, r=0.251, 1000+393, 3grams, 2016-09-23
#Rat; Rad; 10000000;                               # p=0.995, r=0.419, 998+526, 3grams, 2016-10-28
{'fraction_non_alphanumeric': 0.14826254826254825, 'fraction_numerical': 0.26857142857142857, 'mean_word_length': 1.7003753127606338, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 35, 'word_list_counts': {'cursed_substrings.json': 43, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6894543', 'n_tokens_mistral': 7625, 'n_tokens_neox': 4923, 'n_words': 1119}