<commit_before>ab آب
bandar بندر
kavosh کاوش
chaman چمن
ghermez قرمز
pajoohesh پژوهش
khortoom خرطوم
mozheh مژه
tatilat تعطیلات
qand قند
khahar خواهر
khashm خشم
etemad اعتماد
nameh نامه
raoof رؤوف
masool مسئول
masaleh مسئله
masood مسعود
ariz عریض
<commit_msg>Add a couple of more test words.<commit_after>ab آب
bandar بندر
kavosh کاوش
chaman چمن
ghermez قرمز
pajoohesh پژوهش
khortoom خرطوم
mozheh مژه
tatilat تعطیلات
qand قند
khahar خواهر
khashm خشم
etemad اعتماد
nameh نامه
raoof رؤوف
raees رئیس
masool مسئول
masaleh مسئله
masood مسعود
ariz عریض
madoom معدوم

{'fraction_non_alphanumeric': 0.012522361359570662, 'fraction_numerical': 0.0, 'mean_word_length': 5.363636363636363, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '579572', 'n_tokens_mistral': 370, 'n_tokens_neox': 343, 'n_words': 86}