<commit_before>#!/bin/bash

../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=0 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort > shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=1 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=2 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=3 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=4 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile

cat shardfile | sort > temp
mv temp shardfile
echo "Line Count"
cat shardfile | wc -l
echo "Duplicate Count"
cat shardfile | uniq -d | wc -l

rm outfile
rm shardfile
rm temp

../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=0 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort > shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=1 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=2 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=3 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=4 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile

cat shardfile | sort > temp
mv temp shardfile
echo "Line Count"
cat shardfile | wc -l
echo "Duplicate Count"
cat shardfile | uniq -d | wc -l

rm outfile
rm shardfile
rm temp<commit_msg>Remove unneccessary 'rm temp' in test script<commit_after>#!/bin/bash

../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=0 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort > shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=1 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=2 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=3 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 --shards=5 --shard=4 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile

cat shardfile | sort > temp
mv temp shardfile
echo "Line Count"
cat shardfile | wc -l
echo "Duplicate Count"
cat shardfile | uniq -d | wc -l

rm outfile
rm shardfile

../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=0 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort > shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=1 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=2 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=3 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile
../src/zmap -p 80 -c 1 -b configs/blacklist_shard.conf --seed=1234 --dryrun 1.1.0.0/16 192.168.3.11/16 5.6.0.0/16 --shards=5 --shard=4 > outfile
cat outfile | grep ip | cut -d '|' -f 2 | cut -d ' ' -f 3 | sort >> shardfile

cat shardfile | sort > temp
mv temp shardfile
echo "Line Count"
cat shardfile | wc -l
echo "Duplicate Count"
cat shardfile | uniq -d | wc -l

rm outfile
rm shardfile
{'fraction_non_alphanumeric': 0.1887171250752861, 'fraction_numerical': 0.10238907849829351, 'mean_word_length': 2.3503698722259583, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 63, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 40, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1167985', 'n_tokens_mistral': 2518, 'n_tokens_neox': 2183, 'n_words': 679}