<commit_before>\b(online|overseas).+(drugstore|pharmacy)\b
\bAloha!\s+<a\b
\bAloha!\w+\b
\bHello!\s+\w+\s+interesting\s+\w+\s+site!
\bPharm\w+\d+\b
\baccutane\b
\badderall\b
\badipex\b
\balprazolam\b
\bambien\b
\bamoxicillin\b
\bativan\b
\bazithromycin\b
\bbuy\s+(cheap|generic)\b
\bcialis\b
\bclomid\b
\bdfadlmox\b
\bdiazepam\b
\bdoxycycline\b
\bhydrocodone\b
\bklonopin\b
\blevitra\b
\bmichael\s+jackson\s+died\b
\bnaivahita\b
\bnude\b
\bpayday\s+loans\b
\bpropecia\b
\bsex\s+tape\b
\btamiflu\b
\btramadol\b
\buiouoiuiuoi\b
\bviagra\b
\bvicodin\b
\bxanax\b
\bКупить\s+участок\b
\bзнакомства\s+свингеры\s+тюмень\b<commit_msg>Added ugg boots to the blacklist.<commit_after>\b(online|overseas).+(drugstore|pharmacy)\b
\bAloha!\s+<a\b
\bAloha!\w+\b
\bHello!\s+\w+\s+interesting\s+\w+\s+site!
\bPharm\w+\d+\b
\baccutane\b
\badderall\b
\badipex\b
\balprazolam\b
\bambien\b
\bamoxicillin\b
\bativan\b
\bazithromycin\b
\bbuy\s+(cheap|generic)\b
\bcialis\b
\bclomid\b
\bdfadlmox\b
\bdiazepam\b
\bdoxycycline\b
\bhydrocodone\b
\bklonopin\b
\blevitra\b
\bmichael\s+jackson\s+died\b
\bnaivahita\b
\bnude\b
\bpayday\s+loans\b
\bpropecia\b
\bsex\s+tape\b
\btamiflu\b
\btramadol\b
\bugg\s+boots\b
\buiouoiuiuoi\b
\bviagra\b
\bvicodin\b
\bxanax\b
\bКупить\s+участок\b
\bзнакомства\s+свингеры\s+тюмень\b
{'fraction_non_alphanumeric': 0.19953416149068323, 'fraction_numerical': 0.0, 'mean_word_length': 3.9386973180076628, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3264956', 'n_tokens_mistral': 773, 'n_tokens_neox': 738, 'n_words': 77}