<commit_before>##################################
###                            ###
###      <NAME>     ###
###    Computation Institute   ###
###    University of Chicago   ###
###                            ###
##################################

##########################################################
#Change Directory to Congression Records Folder
##########################################################
cd Python_Scripts/Test_Text

##########################################################
#Set Minimum File Size and Convert Accordingly
##########################################################
minimumsize=7000
for file in *
do
actualsize=$(wc -c <"$file")

#Convert True PDFs of Congressional Record
if [ $actualsize -ge $minimumsize ]; then
    echo size is over $minimumsize bytes. Size = $actualsize
    echo Converting Congressional Record File $file to Text
    pdftotext "$file"
    rm "$file"

#Convert HTML Files with .pdf Extentions to .txt
else
    echo size is under $minimumsize bytes. Size = $actualsize
    mv "$file" "${file%.pdf}.txt"
fi<commit_msg>Adding check to ensure pdftotext installed.<commit_after>##################################
###                            ###
###      <NAME>     ###
###    Computation Institute   ###
###    University of Chicago   ###
###                            ###
##################################


##########################################################
#Ensure PDFTOTEXT Installed
##########################################################

type pdftotext >/dev/null 2>&1 || { echo >&2 "This package requires pdftotext, but it is not installed."; \
 echo "Consider using homebrew and the command 'brew install poppler' to get pdftotext."; \
 echo "Aborting script to prevent data loss."; exit 1; }


##########################################################
#Change Directory to Congression Records Folder
##########################################################

cd Python_Scripts/Congressional_Records


##########################################################
#Set Minimum File Size and Convert Accordingly
##########################################################
minimumsize=7000
for file in *.pdf
do
actualsize=$(wc -c <"$file")

#Convert True PDFs of Congressional Record
if [ $actualsize -ge $minimumsize ]; then
    echo size is over $minimumsize bytes. Size = $actualsize
    echo Converting Congressional Record File $file to Text
    pdftotext "$file"
    rm "$file"

#Convert HTML Files with .pdf Extentions to .txt
else
    echo size is under $minimumsize bytes. Size = $actualsize
    mv "$file" "${file%.pdf}.txt"
fi
{'fraction_non_alphanumeric': 0.35051546391752575, 'fraction_numerical': 0.004581901489117984, 'mean_word_length': 4.32520325203252, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 8, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4517301', 'n_tokens_mistral': 634, 'n_tokens_neox': 591, 'n_words': 209}