<commit_before>python update.py Crossref.run --limit=10000 --chunk=250 --rq
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
python update.py Crossref.run --limit=100000 --chunk=250 --rq --append<commit_msg>chunk size 1 for the hard ones<commit_after>python update.py Crossref.run --limit=10000 --chunk=1 --rq
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append
python update.py Crossref.run --limit=100000 --chunk=1 --rq --append

#python update.py Crossref.run --limit=10000 --chunk=250 --rq
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
#python update.py Crossref.run --limit=100000 --chunk=250 --rq --append
{'fraction_non_alphanumeric': 0.17158516020236086, 'fraction_numerical': 0.11509274873524451, 'mean_word_length': 3.252688172043011, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7077882', 'n_tokens_mistral': 927, 'n_tokens_neox': 719, 'n_words': 233}