<commit_before>ar		العربية
de		deutsch
el		ελληνικά
en		english
es		español
fr		français
hi		हिंदी
hr		hrvatski
id		Indonesia
it		italiano
ja		日本語
kn		ಕನ್ನಡ
ko		한국의
nl		nederlands
pt		português
pt-BR	português brasileiro
ro		român
ru		русский
sr		српски
ta		தமிழ்
th		ไทย
zh-cn	中国（简体）
zh-tw	中國（繁體）<commit_msg>Add Polish language.<commit_after>ar		العربية
de		deutsch
el		ελληνικά
en		english
es		español
fr		français
hi		हिंदी
hr		hrvatski
id		Indonesia
it		italiano
ja		日本語
kn		ಕನ್ನಡ
ko		한국의
nl		nederlands
pl      polski
pt		português
pt-BR	português brasileiro
ro		român
ru		русский
sr		српски
ta		தமிழ்
th		ไทย
zh-cn	中国（简体）
zh-tw	中國（繁體）
{'fraction_non_alphanumeric': 0.0515625, 'fraction_numerical': 0.0, 'mean_word_length': 3.302013422818792, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5184510', 'n_tokens_mistral': 402, 'n_tokens_neox': 424, 'n_words': 97}