<commit_before>words_dict = {
    "Armor Class ": "Класс доспеха ",
    "": "",
    "": "",
    "": "",
    "Hit Points ": "Хиты ",
    "Speed ": "Скорость ",
    "ft.": "фт.",
    "Saving Throws ": "Спасброски ",
    "Special Senses ": "Чувства ",
    "fly": "полёт",
    "swim": "плавание",
    "burrow": "копание",
    "": "",
    "Senses ": "Чувства ",
    " darkvision ": " тёмное зрение ",
    "passive ": "пассивное ",
    "Condition Immunities": "Иммунитет к состояниям",
    "poisoned": "отравленный",
    "tremorsense": "чувство дрожи",
    "blindsight": "слепое зрение",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
# описания существ
    "Large ": "Большой ",
    "Huge": "Огромный",
    "giant": "гигант",
    "Small ": "Маленький ",
    "humanoid": "гуманоид",
    "kobold": "кобольд",
    "Medium": "Средний",
    "fiend": "изверг",
    "monstrosity": "чудовище",
    "undead": "нежить",
    "goblinoid": "гоблиноид",
    "": "",
# мировоззрения
    "chaotic evil": "хаотично злой",
    "lawful evil": " законно злой",
    "neutral evil": "нейтрально злой",
    "chaotic good": "хаотично добрый",
    "lawful good": "законно добрый",
    "": "",
    "": "",
    "": "",
    "": "",
    "unaligned": "без мировоззрения",
    "any non-good alignment": "любое не хорошее мировоззрение",
    "Challenge ": "Опасность ",
    " XP)": " опыта)",
    "": "",
    "": "",
    "": "",
# скиллы
    "Skills ": "Навыки ",
    "Acrobatics ": "Акробатика ",
    "Animal Handling ": "Уход за животными ",
    "Arcana ": "Магия ",
    "Athletics ": "Атлетика ",
    "Deception ": "Обман ",
    "History ": "История ",
    "Insight ": "Проницательность ",
    "Intimidation ": "Запугивание ",
    "Investigation ": "Расследование ",
    "Medicine ": "Медицина ",
    "Nature ": "Природа ",
    "Perception ": "Восприятие ",
    "Performance ": "Выступление ",
    "Persuasion ": "Убеждение ",
    "Religion ": "Религия ",
    "Sleight of Hand ": "Ловкость рук ",
    "Stealth ": "Скрытность ",
    "Survival ": "Выживание ",
# Состояния
    "Blinded": "Ослеплённый",
    "Charmed": "Очарованный",
    "Deafened": "Оглохший",
    "Frightened": "Испуганный",
    "Grappled": "Схваченный",
    "Incapacitated": "Недееспособный",
    "Invisible": "Невидимый",
    "Paralyzed": "Парализованный",
    "Petrified": "Окаменевший",
    "Poisoned": "Отравленный",
    "Prone": "Лежащий ничком",
    "Restrained": "Опутанный",
    "Stunned": "Ошеломлённый",
    "Unconscious": "Бессознательный",

    "Actions": "Действия",
    "ACTIONS": "Действия",
    "Multiattack.": "Мультиатака.",
    "one target": "одна цель",
    "Hit: ": "Попадание: ",
    "Magic Resistance. ": "Магическое сопротивление. ",
    "Damage Immunities ": "Иммунитет к урону ",
    "Melee Weapon Attack:": "Рукопашная атака оружием:",
    "Melee Weapon attack:": "Рукопашная атака оружием:",
    " to hit, reach ": " к попаданию, досягаемость ",
    "Ranged Weapon Attack: ": "Дальнобойная атака оружием: ",
    "Ranged Weapon attack: ": "Дальнобойная атака оружием: ",
    " to hit, range": " к попаданию, дистанция",
    "(Recharge": "(Перезарядка",
    "Damage Vulnerabilities ": "Уязвимость к урону ",
    "": "",
    "": "",
# параметры
    "STR": "СИЛ",
    "DEX": "ЛОВ",
    "CON": "ТЕЛ",
    "INT": "ИНТ",
    "WIS": "МДР",
    "CHA": "ХАР",
    "Str ": "Сил ",
    "Dex ": "Лов ",
    "Con ": "Тел ",
    "Int ": "Инт ",
    "Wis ": "Мдр ",
    "Cha ": "Хар ",
# вещи
# armor
    "shield": "щит",
    "scale armor": "чешуйчатый доспех",
    "scale mail": "чешуйчатый доспех",
    "": "",
    "natural armor": "естественный доспех",
    "with mage armor": "с магическим доспехом",
    "studded leather": "проклёпанный кожаный доспех",
    "Barkskin trait": "дубовая кора",
    "chain mail": "кольчуга",
    "chain shirt": "кольчужная рубаха",
    "ring mail": "колечный",
    "hide armor": "шкурный",
    "plate": "латы",
    "leather armor": "кожаный доспех",
# weapon
    "Battleaxe": "Боевой топор",
    "Blowgun": "Духовая трубка",
    "Club": "Дубинка",
    "Crossbow, hand": "Арбалет, ручной",
    "Crossbow, heavy": "Арбалет, тяжёлый",
    "Crossbow, light": "Арбалет, лёгкий",
    "Dagger": "Кинжал",
    "Dart": "Дротик",
    "Flail": "Цеп",
    "Glaive": "Глефа",
    "Greataxe": "Секира",
    "Greatclub": "Палица",
    "Greatsword": "Двуручный меч",
    "Halberd": "Алебарда",
    "Handaxe": "Ручной топор",
    "Javelin": "Метательное копьё",
    "Lance": "Длинное копьё",
    "Light hammer": "Лёгкий молот",
    "Longbow": "Длинный лук",
    "Longsword": "Длинный меч",
    "Mace": "Булава",
    "Maul": "Молот",
    "Morningstar": "Моргенштерн",
    "Net": "Сеть",
    "Pike": "Пика",
    "Quarterstaff": "Боевой посох",
    "Rapier": "Рапира",
    "Scimitar": "Скимитар",
    "Shortbow": "Короткий лук",
    "Short Bow": "Короткий лук",
    "Shortsword": "Короткий меч",
    "Short Sword": "Короткий меч",
    "Sickle": "Серп",
    "Sling": "Праща",
    "Spear": "Копьё",
    "Trident": "Трезубец",
    "War pick": "Боевая кирка",
    "Warhammer": "Боевой молот",
    "Whip": "Кнут",    
    "Rock": "Камень",
    "Bite": "Укус",
    "Claw": "Когти",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
# типы урона
    "piercing": "колющего",
    "bludgeoning": "дробящего",
    "slashing": "рубящего",
    "damage": "урона",
    "fire": "огненного",
    "plus": "плюс",
    "cold": "холодом",
    "poison": "ядом",
    "psychic": "психический",
    "": "",
    "": "",
    "": "",
}

lang_dict = {
    "Common": "Общий",
    "Elvish": "Эльфийский",
    "Dwarwish": "Дварфийский",
    "Giant": "Язык гигантов",
    "Ignan": "Игнан",
    "Bothii": "Ботхи",
    "Yikaria ": "Икария",
    "Draconic": "Драконий",
    "Goblin": "Гоблинский",
    "Orc": "Орочий",
    "Undercommon": "Подземный",
}
<commit_msg>Add some new words<commit_after>words_dict = {
    "Armor Class ": "Класс доспеха ",
    "": "",
    "": "",
    "": "",
    "Hit Points ": "Хиты ",
    "Speed ": "Скорость ",
    "ft.": "фт.",
    "Saving Throws ": "Спасброски ",
    "Special Senses ": "Чувства ",
    "fly": "полёт",
    "swim": "плавание",
    "burrow": "копание",
    "": "",
    "Senses ": "Чувства ",
    " darkvision ": " тёмное зрение ",
    "passive ": "пассивное ",
    "Condition Immunities": "Иммунитет к состояниям",
    "poisoned": "отравленный",
    "tremorsense": "чувство дрожи",
    "blindsight": "слепое зрение",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
# описания существ
    "Large ": "Большой ",
    "Huge": "Огромный",
    "giant": "гигант",
    "Small ": "Маленький ",
    "humanoid": "гуманоид",
    "kobold": "кобольд",
    "Medium": "Средний",
    "fiend": "изверг",
    "monstrosity": "чудовище",
    "undead": "нежить",
    "goblinoid": "гоблиноид",
    "": "",
# мировоззрения
    "chaotic evil": "хаотично злой",
    "lawful evil": " законно злой",
    "neutral evil": "нейтрально злой",
    "chaotic good": "хаотично добрый",
    "lawful good": "законно добрый",
    "": "",
    "": "",
    "": "",
    "": "",
    "unaligned": "без мировоззрения",
    "any non-good alignment": "любое не хорошее мировоззрение",
    "Challenge ": "Опасность ",
    " XP)": " опыта)",
    "": "",
    "": "",
    "": "",
# скиллы
    "Skills ": "Навыки ",
    "Acrobatics ": "Акробатика ",
    "Animal Handling ": "Уход за животными ",
    "Arcana ": "Магия ",
    "Athletics ": "Атлетика ",
    "Deception ": "Обман ",
    "History ": "История ",
    "Insight ": "Проницательность ",
    "Intimidation ": "Запугивание ",
    "Investigation ": "Расследование ",
    "Medicine ": "Медицина ",
    "Nature ": "Природа ",
    "Perception ": "Восприятие ",
    "Performance ": "Выступление ",
    "Persuasion ": "Убеждение ",
    "Religion ": "Религия ",
    "Sleight of Hand ": "Ловкость рук ",
    "Stealth ": "Скрытность ",
    "Survival ": "Выживание ",
# Состояния
    "Blinded": "Ослеплённый",
    "Charmed": "Очарованный",
    "Deafened": "Оглохший",
    "Frightened": "Испуганный",
    "Grappled": "Схваченный",
    "Incapacitated": "Недееспособный",
    "Invisible": "Невидимый",
    "Paralyzed": "Парализованный",
    "Petrified": "Окаменевший",
    "Poisoned": "Отравленный",
    "Prone": "Лежащий ничком",
    "Restrained": "Опутанный",
    "Stunned": "Ошеломлённый",
    "Unconscious": "Бессознательный",

    "Actions": "Действия",
    "ACTIONS": "Действия",
    "Multiattack.": "Мультиатака.",
    "one target": "одна цель",
    "Hit: ": "Попадание: ",
    "Magic Resistance. ": "Магическое сопротивление. ",
    "Damage Immunities ": "Иммунитет к урону ",
    "Melee Weapon Attack:": "Рукопашная атака оружием:",
    "Melee Weapon attack:": "Рукопашная атака оружием:",
    " to hit, reach ": " к попаданию, досягаемость ",
    "Ranged Weapon Attack: ": "Дальнобойная атака оружием: ",
    "Ranged Weapon attack: ": "Дальнобойная атака оружием: ",
    " to hit, range": " к попаданию, дистанция",
    "(Recharge": "(Перезарядка",
    "Damage Vulnerabilities ": "Уязвимость к урону ",
    "": "",
    "": "",
# параметры
    "STR": "СИЛ",
    "DEX": "ЛОВ",
    "CON": "ТЕЛ",
    "INT": "ИНТ",
    "WIS": "МДР",
    "CHA": "ХАР",
    "Str ": "Сил ",
    "Dex ": "Лов ",
    "Con ": "Тел ",
    "Int ": "Инт ",
    "Wis ": "Мдр ",
    "Cha ": "Хар ",
# вещи
# armor
    "shield": "щит",
    "scale armor": "чешуйчатый доспех",
    "scale mail": "чешуйчатый доспех",
    "": "",
    "natural armor": "естественный доспех",
    "with mage armor": "с магическим доспехом",
    "studded leather": "проклёпанный кожаный доспех",
    "Barkskin trait": "дубовая кора",
    "chain mail": "кольчуга",
    "chain shirt": "кольчужная рубаха",
    "ring mail": "колечный",
    "hide armor": "шкурный",
    "plate": "латы",
    "leather armor": "кожаный доспех",
# weapon
    "Battleaxe": "Боевой топор",
    "Blowgun": "Духовая трубка",
    "Club": "Дубинка",
    "Crossbow, hand": "Арбалет, ручной",
    "Crossbow, heavy": "Арбалет, тяжёлый",
    "Crossbow, light": "Арбалет, лёгкий",
    "Dagger": "Кинжал",
    "Dart": "Дротик",
    "Flail": "Цеп",
    "Glaive": "Глефа",
    "Greataxe": "Секира",
    "Greatclub": "Палица",
    "Greatsword": "Двуручный меч",
    "Halberd": "Алебарда",
    "Handaxe": "Ручной топор",
    "Javelin": "Метательное копьё",
    "Lance": "Длинное копьё",
    "Light hammer": "Лёгкий молот",
    "Longbow": "Длинный лук",
    "Longsword": "Длинный меч",
    "Mace": "Булава",
    "Maul": "Молот",
    "Morningstar": "Моргенштерн",
    "Net": "Сеть",
    "Pike": "Пика",
    "Quarterstaff": "Боевой посох",
    "Rapier": "Рапира",
    "Scimitar": "Скимитар",
    "Shortbow": "Короткий лук",
    "Short Bow": "Короткий лук",
    "Shortsword": "Короткий меч",
    "Short Sword": "Короткий меч",
    "Sickle": "Серп",
    "Sling": "Праща",
    "Spear": "Копьё",
    "Trident": "Трезубец",
    "War pick": "Боевая кирка",
    "Warhammer": "Боевой молот",
    "Whip": "Кнут",    
    "Rock": "Камень",
    "Bite": "Укус",
    "Claw": "Когти",
    "": "",
    "": "",
    "": "",
    "": "",
    "": "",
# типы урона
    "damage": "урон",
    "plus": "плюс",
    "piercing": "колющего",
    "bludgeoning": "дробящего",
    "slashing": "рубящего",
    "fire": "огненного",
    "cold": "холодом",
    "poison": "ядом",
    "psychic": "психического",
    "acid": "кислотного",
    "": "",
    "": "",
}

lang_dict = {
    "Common": "Общий",
    "Elvish": "Эльфийский",
    "Dwarwish": "Дварфийский",
    "Giant": "Язык гигантов",
    "Ignan": "Игнан",
    "Bothii": "Ботхи",
    "Yikaria ": "Икария",
    "Draconic": "Драконий",
    "Goblin": "Гоблинский",
    "Orc": "Орочий",
    "Undercommon": "Подземный",
}

{'fraction_non_alphanumeric': 0.21469506457959114, 'fraction_numerical': 0.0, 'mean_word_length': 2.9986320109439126, 'pattern_counts': {'":': 402, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4356636', 'n_tokens_mistral': 5176, 'n_tokens_neox': 5465, 'n_words': 949}