<commit_before>libra-oa:10001|open||
libra-oa:10004|open||
libra-oa:10006|open||
libra-oa:10009|open||
libra-oa:10011|open||
libra-oa:10013|open||
libra-oa:10015|open||
libra-oa:10017|open||
libra-oa:10019|open||
libra-oa:10021|open||
libra-oa:10023|open||
libra-oa:10025|open||
libra-oa:10027|open||
libra-oa:10029|open||
libra-oa:10031|open||
libra-oa:10040|open||
libra-oa:10042|open||
libra-oa:10044|open||
libra-oa:10046|open||
libra-oa:10048|open||
libra-oa:10050|open||
libra-oa:10053|open||
libra-oa:10055|open||
libra-oa:10058|open||
libra-oa:10060|open||
libra-oa:10068|open||
libra-oa:10070|open||
libra-oa:10074|open||
libra-oa:10076|open||
libra-oa:10252|open||
libra-oa:9834|open||
libra-oa:9840|open||
libra-oa:9873|open||
libra-oa:9875|open||
libra-oa:9877|open||
libra-oa:9879|open||
libra-oa:9885|open||
libra-oa:9887|open||
libra-oa:9889|open||
libra-oa:9891|open||
libra-oa:9894|open||
libra-oa:9896|open||
libra-oa:9898|open||
libra-oa:9900|open||
libra-oa:9902|open||
libra-oa:9904|open||
libra-oa:9906|open||
libra-oa:9908|open||
libra-oa:9910|open||
libra-oa:9912|open||
libra-oa:9914|open||
libra-oa:9916|open||
libra-oa:9918|open||
libra-oa:9920|open||
libra-oa:9922|open||
libra-oa:9924|open||
libra-oa:9926|open||
libra-oa:9928|open||
libra-oa:9930|open||<commit_msg>LIBRA-866: ingest override<commit_after>libra-oa:10001|open||
libra-oa:10004|open||
libra-oa:10006|open||
libra-oa:10009|open||
libra-oa:10011|open||
libra-oa:10013|open||
libra-oa:10015|open||
libra-oa:10017|open||
libra-oa:10019|open||
libra-oa:10021|open||
libra-oa:10023|open||
libra-oa:10025|open||
libra-oa:10027|open||
libra-oa:10029|open||
libra-oa:10031|open||
libra-oa:10040|open||
libra-oa:10042|open||
libra-oa:10044|open||
libra-oa:10046|open||
libra-oa:10048|open||
libra-oa:10050|open||
libra-oa:10053|open||
libra-oa:10055|open||
libra-oa:10058|open||
libra-oa:10060|open||
libra-oa:10068|open||
libra-oa:10070|open||
libra-oa:10074|open||
libra-oa:10076|open||
libra-oa:10252|open||
libra-oa:6338|open||
libra-oa:9834|open||
libra-oa:9840|open||
libra-oa:9873|open||
libra-oa:9875|open||
libra-oa:9877|open||
libra-oa:9879|open||
libra-oa:9885|open||
libra-oa:9887|open||
libra-oa:9889|open||
libra-oa:9891|open||
libra-oa:9894|open||
libra-oa:9896|open||
libra-oa:9898|open||
libra-oa:9900|open||
libra-oa:9902|open||
libra-oa:9904|open||
libra-oa:9906|open||
libra-oa:9908|open||
libra-oa:9910|open||
libra-oa:9912|open||
libra-oa:9914|open||
libra-oa:9916|open||
libra-oa:9918|open||
libra-oa:9920|open||
libra-oa:9922|open||
libra-oa:9924|open||
libra-oa:9926|open||
libra-oa:9928|open||
libra-oa:9930|open||
{'fraction_non_alphanumeric': 0.22980182926829268, 'fraction_numerical': 0.20541158536585366, 'mean_word_length': 9.9375, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4300230', 'n_tokens_mistral': 1631, 'n_tokens_neox': 1330, 'n_words': 120}