<commit_before><commit_msg>Added test case<commit_after>222222222222222222222222222222222222122222222
222222222222222222222222222222222221222222222
222222222222222222222222222222222221222222222
222222222222222222222222222222222221122222222
222222222222222222222222222222222211122222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222212222222222222222222222222222222222222222
211112222222222222222222222222222222222222222
122112222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222

{'fraction_non_alphanumeric': 0.0028222013170272815, 'fraction_numerical': 0.9524929444967074, 'mean_word_length': 43.3125, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 50, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6071482', 'n_tokens_mistral': 2088, 'n_tokens_neox': 606, 'n_words': 47}