<commit_before>#!/bin/bash

if [ $1 ] ; then
  VERBOSE=$1
else
  VERBOSE="-vvv"
fi

# generate

echo
echo "====="
echo "Generate CSVs"
echo
read -p "Confirm executing 'Generate'? (c/n) " -n1 -s exec
echo

if [ $exec = 'c' ]; then

  # Order matters - Criation order
  iniFiles=(
    "insumo_nao_tecido_codigos"
    "insumo_nao_tecido_capa"
    "insumo_nao_tecido_tamanho"
    "insumo_nao_tecido_tamanho_cor"
    "insumo_tecido_codigos"
    "insumo_tecido_capa"
    "insumo_tecido_tamanho"
    "insumo_tecido_tamanho_cor"
    "insumo_tecido_tamanho_cor_col"
    "produto_colecao"
    "produto_loteexpedicao_referencias"
    "produto_fabric_pa_capa"
    "produto_fabric_md_capa"
    "produto_pa_capa"
    "produto_pa_tamanho"
    "produto_pa_tamanho_cor"
    "produto_md_capa"
    "produto_md_tamanho"
    "produto_md_tamanho_cor"
    "produto_pa_estrutura"
  )

  echo
  for iniFile in "${iniFiles[@]}"
  do
    echo
    echo "====="
    echo "./dbms2csv.py ${iniFile} $VERBOSE"
    echo
    read -p "Execute this command? (y/n) " -n1 -s exec
    echo
    echo
    if [ $exec = 'y' ]; then
      ./dbms2csv.py "${iniFile}" $VERBOSE
    else
      echo "Junp ${iniFile}"
    fi
  done
  echo

fi

# delete

echo
echo "====="
echo "Delete tuples no longer useful"
echo
read -p "Confirm executing 'Delete'? (c/n) " -n1 -s exec
echo

if [ $exec = 'c' ]; then

  ./csv2oracle.py _insumo_nao_tecido_tamanho_cor -d $VERBOSE

  ./csv2oracle.py _insumo_nao_tecido_tamanho -d $VERBOSE

  ./csv2oracle.py _insumo_nao_tecido_capa -d $VERBOSE

  ./csv2oracle.py _insumo_tecido_tamanho_cor_col -d $VERBOSE

  ./csv2oracle.py _insumo_tecido_tamanho_cor -d $VERBOSE

  ./csv2oracle.py _insumo_tecido_tamanho -d $VERBOSE

  ./csv2oracle.py _insumo_tecido_capa -d $VERBOSE

  ./csv2oracle.py _produto_pa_tamanho_cor -d $VERBOSE

  ./csv2oracle.py _produto_pa_tamanho -d $VERBOSE

  ./csv2oracle.py _produto_pa_capa  -d $VERBOSE

  ./csv2oracle.py _produto_md_tamanho_cor -d $VERBOSE

  ./csv2oracle.py _produto_md_tamanho -d $VERBOSE

  ./csv2oracle.py _produto_md_capa  -d $VERBOSE

  ./csv2oracle.py _produto_colecao -d $VERBOSE

  ./csv2oracle.py ncm.fixo -d $VERBOSE

  ./csv2oracle.py produto-artigo_de_produto -d $VERBOSE

  ./csv2oracle.py tecido-artigo_de_produto -d $VERBOSE

  ./csv2oracle.py produto-linha_de_produto -d $VERBOSE

  ./csv2oracle.py tecido-linha_de_produto -d $VERBOSE

  ./csv2oracle.py conta_de_estoque.v161202 -d $VERBOSE

  ./csv2oracle.py cor.fixo -d $VERBOSE

  ./csv2oracle.py tamanho.fixo -d $VERBOSE

  ./csv2oracle.py unidades_de_medida.fixo -d $VERBOSE

fi

# insert/update

echo
echo "====="
echo "Insert/Update tuples"
echo
read -p "Confirm executing 'Insert/Update'? (c/n) " -n1 -s exec
echo

if [ $exec = 'c' ]; then

  ./csv2oracle.py unidades_de_medida.fixo -i $VERBOSE

  ./csv2oracle.py tamanho.fixo -i $VERBOSE

  ./csv2oracle.py cor.fixo -i $VERBOSE

  ./csv2oracle.py conta_de_estoque.v161202 -i $VERBOSE

  ./csv2oracle.py tecido-linha_de_produto -i $VERBOSE

  ./csv2oracle.py produto-linha_de_produto -i $VERBOSE

  ./csv2oracle.py tecido-artigo_de_produto -i $VERBOSE

  ./csv2oracle.py produto-artigo_de_produto -i $VERBOSE

  ./csv2oracle.py ncm.fixo -i $VERBOSE

  ./csv2oracle.py _produto_colecao -i $VERBOSE

  ./csv2oracle.py _produto_md_capa -i $VERBOSE

  ./csv2oracle.py _produto_md_tamanho -i $VERBOSE

  ./csv2oracle.py _produto_md_tamanho_cor -i $VERBOSE

  ./csv2oracle.py _produto_pa_capa -i $VERBOSE

  ./csv2oracle.py _produto_pa_tamanho -i $VERBOSE

  ./csv2oracle.py _produto_pa_tamanho_cor -i $VERBOSE

  ./csv2oracle.py _insumo_tecido_capa -i $VERBOSE

  ./csv2oracle.py _insumo_tecido_tamanho -i $VERBOSE

  ./csv2oracle.py _insumo_tecido_tamanho_cor -i $VERBOSE

  ./csv2oracle.py csv/_insumo_tecido_tamanho_cor_col -i $VERBOSE

  ./csv2oracle.py _insumo_nao_tecido_capa -i $VERBOSE

  ./csv2oracle.py _insumo_nao_tecido_tamanho -i $VERBOSE

  ./csv2oracle.py _insumo_nao_tecido_tamanho_cor -i $VERBOSE

fi
echo<commit_msg>Better script<commit_after>#!/bin/bash

if [ $1 ] ; then
  VERBOSE=$1
else
  VERBOSE="-vvv"
fi

# Order matters - Criation order
iniFiles=(
  "insumo_nao_tecido_codigos"
  "insumo_nao_tecido_capa"
  "insumo_nao_tecido_tamanho"
  "insumo_nao_tecido_tamanho_cor"
  "insumo_tecido_codigos"
  "insumo_tecido_capa"
  "insumo_tecido_tamanho"
  "insumo_tecido_tamanho_cor"
  "insumo_tecido_tamanho_cor_col"
  "produto_colecao"
  "produto_loteexpedicao_referencias"
  "produto_fabric_pa_capa"
  "produto_fabric_md_capa"
  "produto_pa_capa"
  "produto_pa_tamanho"
  "produto_pa_tamanho_cor"
  "produto_md_capa"
  "produto_md_tamanho"
  "produto_md_tamanho_cor"
  "produto_pa_estrutura"
)

# generate

echo
echo "====="
echo "Generate CSVs"
echo
read -p "Confirm executing 'Generate'? (c/n) " -n1 -s exec
echo

if [ $exec = 'c' ]; then

  echo
  for iniFile in "${iniFiles[@]}"
  do
    echo
    echo "====="
    echo "./dbms2csv.py ${iniFile} $VERBOSE"
    echo
    read -p "Execute this command? (y/n) " -n1 -s exec
    echo
    echo
    if [ $exec = 'y' ]; then
      ./dbms2csv.py "${iniFile}" $VERBOSE
      if [ $? -eq 0 ]; then
        echo
        echo "Generated data group ${iniFile} - OK !!!"
      else
        echo
        echo "ERROR generating data group ${iniFile} !!!"
        exit
      fi
    else
      echo "Jump ${iniFile}"
    fi
  done
  echo

fi

# Order matters - Criation order
dataGroupFiles=(
  "unidades_de_medida.fixo"
  "tamanho.fixo"
  "cor.fixo"
  "conta_de_estoque.v161202"
  "tecido-linha_de_produto"
  "tecido-artigo_de_produto"
  "ncm.fixo"
  "produto-linha_de_produto"
  "produto-artigo_de_produto"
  "_produto_colecao"
  "_insumo_nao_tecido_capa"
  "_insumo_nao_tecido_tamanho"
  "_insumo_nao_tecido_tamanho_cor"
  "_insumo_tecido_capa"
  "_insumo_tecido_tamanho"
  "_insumo_tecido_tamanho_cor"
  "_insumo_tecido_tamanho_cor_col"
  "_produto_md_capa"
  "_produto_md_tamanho"
  "_produto_md_tamanho_cor"
  "_produto_pa_capa"
  "_produto_pa_tamanho"
  "_produto_pa_tamanho_cor"
)

# delete

echo
echo "====="
echo "Delete tuples no longer useful"
echo
read -p "Confirm executing 'Delete'? (c/n) " -n1 -s exec
echo

if [ $exec = 'c' ]; then

  echo
  for (( idx=${#dataGroupFiles[@]}-1 ; idx>=0 ; idx-- )) ; do
    echo
    echo "====="
    echo "./csv2oracle.py ${dataGroupFiles[idx]} -d $VERBOSE"
    echo
    read -p "Execute this command? (y/n) " -n1 -s exec
    echo
    echo
    if [ $exec = 'y' ]; then
      ./csv2oracle.py ${dataGroupFiles[idx]} -d $VERBOSE
      if [ $? -eq 0 ]; then
        echo
        echo "Deleted data group ${dataGroupFiles[idx]} - OK !!!"
      else
        echo
        echo "ERROR deleting data group ${dataGroupFiles[idx]} !!!"
        exit
      fi
    else
      echo "Jump ${dataGroupFiles[idx]}"
    fi
  done
  echo

fi

# insert/update

echo
echo "====="
echo "Insert/Update tuples"
echo
read -p "Confirm executing 'Insert/Update'? (c/n) " -n1 -s exec
echo

if [ $exec = 'c' ]; then

  echo
  for dataGroupFile in "${dataGroupFiles[@]}"
  do
    echo
    echo "====="
    echo "./csv2oracle.py ${dataGroupFile} -i $VERBOSE"
    echo
    read -p "Execute this command? (y/n) " -n1 -s exec
    echo
    echo
    if [ $exec = 'y' ]; then
      ./csv2oracle.py ${dataGroupFile} -i $VERBOSE
      if [ $? -eq 0 ]; then
        echo
        echo "Inserted/Updated data group ${dataGroupFile} - OK !!!"
      else
        echo
        echo "ERROR Inserting/Updating data group ${dataGroupFile} !!!"
        exit
      fi
    else
      echo "Jump ${dataGroupFile}"
    fi
  done
  echo

fi
echo
{'fraction_non_alphanumeric': 0.12154989384288747, 'fraction_numerical': 0.012075371549893844, 'mean_word_length': 3.164088397790055, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 4, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '293209', 'n_tokens_mistral': 3362, 'n_tokens_neox': 3231, 'n_words': 637}