<commit_before># encoding: utf-8
#
# Tarefa para automação do processo de preparação dos dados.
#
# autor: Aureliano
# data: 23/10/2013

DAY_SEED = 2

namespace :data do

  desc 'Carrega dados extraídos da API de dados abertos e salva no banco de dados para tratamento posterior (rake db:seed)'
  task :fill do
    $data_preparation_start = Time.now
    if (Time.now.day % DAY_SEED) > 0
      puts "Cancelando povoamento de dados. O povoamento de dados só ocorre nos dias do mês que são múltiplos de #{DAY_SEED}."
      Process.exit 0
    end
    
    ['data:extraction:geral', 'data:merge', 'db:seed'].each do |task_name|
      begin
        Rake::Task[task_name].invoke
      rescue Exception => ex
        puts "Encerrando processo devido a um erro.\nExceção: #{ex}\n"
        puts ex.backtrace
        Process.exit -1
      end
    end
  end
end<commit_msg>Adiciona extração de despesas no processo de extração geral de dados.<commit_after># encoding: utf-8
#
# Tarefa para automação do processo de preparação dos dados.
#
# autor: Aureliano
# data: 23/10/2013

DAY_SEED = 2

namespace :data do

  desc 'Carrega dados extraídos da API de dados abertos e salva no banco de dados para tratamento posterior (rake db:seed)'
  task :fill do
    $data_preparation_start = Time.now
    if (Time.now.day % DAY_SEED) > 0
      puts "Cancelando povoamento de dados. O povoamento de dados só ocorre nos dias do mês que são múltiplos de #{DAY_SEED}."
      Process.exit 0
    end
    
    ['data:extraction:geral', 'data:merge', 'data:extraction:despesas:ano_corrente', 'db:seed'].each do |task_name|
      begin
        Rake::Task[task_name].invoke
      rescue Exception => ex
        puts "Encerrando processo devido a um erro.\nExceção: #{ex}\n"
        puts ex.backtrace
        Process.exit -1
      end
    end
  end
end
{'fraction_non_alphanumeric': 0.08851017042330951, 'fraction_numerical': 0.014293567894447499, 'mean_word_length': 2.982494529540481, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 7, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6584279', 'n_tokens_mistral': 657, 'n_tokens_neox': 638, 'n_words': 208}