refatorando código

.env.development

@@ -1,4 +1,4 @@
-OPENAI_API_KEY="sk-gMXE7rzEMTcru85nwWsBBbGHLkk-QR8tXhtAijRGi9T3BlbkFJpMWIckiPxZegOJVabm0t1zzFIYlTrY5bJI_Eu5mpQA"
+OPENAI_API_KEY="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"
 OPENAI_MODEL_CHAT="gpt-3.5-turbo"
 OPENAI_MODEL_EMBEDDING="text-embedding-3-small"
 
@@ -10,6 +10,4 @@ EDGEDB_PASSWORD="secret"
 EDGEDB_PORT="5656"
 
 QDRANT_HOST="localhost"
-QDRANT_PORT="6333"
-
-HUGGINGFACE_API_KEY="SUA-KEY"
+QDRANT_PORT="6333"

config/coleta/gov_links.csv

@@ -127,11 +127,6 @@ https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/cancelar-um-processo
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/transferir-um-processo
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/extrair-dados-de-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/acessar-a-instancia-do-meu-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/cancelar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/extrair-dados-de-um-processo
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/inconsistencia-de-dados-cadastrais-na-receita-federal
 https://www.gov.br/pt-br/servicos/solicitar-atendimento-conta-gov.br
 https://www.gov.br/governodigital/pt-br/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-em-outros-sistemas-integrados
@@ -171,7 +166,6 @@ https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/titular-falecido-na-conta-gov.br
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-em-outros-sistemas-integrados
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/erro-403-ao-fazer-o-login
-https://www.gov.br/governodigital/pt-br/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-em-outros-sistemas-integrados
 https://sso.acesso.gov.br/
 https://sso.acesso.gov.br/
 https://cadastro.acesso.gov.br/termo-de-uso
@@ -184,8 +178,6 @@ https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/inconsistencia-de-dados-cadastrais-na-receita-federal
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/requisitos-para-acesso-aos-servicos
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-alterei-meus-dados-cadastrais
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/inconsistencia-de-dados-cadastrais-na-receita-federal
-https://www.gov.br/governodigital/pt-br/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-em-outros-sistemas-integrados
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-alterei-meus-dados-cadastrais/nao-lembro-de-ter-criado-uma-conta-gov.br
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-alterei-meus-dados-cadastrais/limite-de-cadastro-do-mesmo-e-mail-ou-telefone
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-alterei-meus-dados-cadastrais/identifiquei-uma-alteracao-ou-um-acesso-suspeito
@@ -235,24 +227,7 @@ https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/cidadao/abrir-um-chamado
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte
-https://solicitacao.servicos.gov.br/processos/iniciar?codServico=13139
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/solicitar-a-automacao-de-um-novo-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/gestao-de-usuarios
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/registrar-um-chamado
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/solicitar-novo-treinamento
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/sincronia-de-dados-com-a-automacao
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/acessar-a-instancia-do-meu-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/visao-geral-da-plataforma
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/cancelar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/transferir-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/extrair-dados-de-um-processo
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/acessar-a-instancia-do-meu-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/transferir-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/extrair-dados-de-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/gestao-de-usuarios
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/visao-geral-da-plataforma
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/cancelar-um-processo
@@ -261,8 +236,6 @@ https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-no-reconhecimento-facial
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-sobre-a-gestao-de-dispositivos-no-gov.br
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-gerais-no-aplicativo-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-no-reconhecimento-facial/bases-biometricas-faciais
-https://confiabilidades.acesso.gov.br/
 https://www.gov.br/governodigital/pt-br/identidade/carteira-de-documentos-digitais
 https://www.gov.br/governodigital/pt-br/identidade/assinatura-eletronica
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-assinatura-gov.br/nao-recebi-o-codigo-da-assinatura
@@ -274,76 +247,3 @@ https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov
 https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-para-aumentar-o-nivel-da-conta-gov.br
 https://www.gov.br/pt-br/servicos/solicitar-atendimento-conta-gov.br
 https://www.mg.gov.br/pagina/unidades-de-atendimento-integrado-uai
-https://www.gov.br/pt-br/servicos/solicitar-atendimento-conta-gov.br
-https://www.gov.br/atendimento
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/acessar-a-instancia-do-meu-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/cancelar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/transferir-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/extrair-dados-de-um-processo
-https://sso.acesso.gov.br/
-https://sso.acesso.gov.br/
-https://cadastro.acesso.gov.br/termo-de-uso
-https://www.gov.br/pt-br/servicos/solicitar-atendimento-conta-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-no-login-com-certificado-no-gov.br/certificado-nao-encontrado
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png/download
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png/image_view_fullscreen
-http://www.facebook.com/sharer.php?u=https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png
-https://twitter.com/share?text=Gov.br_logo.svg.png&url=https://www.gov.br/governodigital/resolveuid/fc8b62c9ff4142f19322784616ed91aa
-https://www.linkedin.com/shareArticle?mini=true&url=https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png&title=Gov.br_logo.svg.png
-https://api.whatsapp.com/send?text=https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png
-https://www.gov.br/governodigital/pt-br/assinatura-eletronica
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-assinatura-gov.br/nao-recebi-o-codigo-da-assinatura
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-assinatura-gov.br/nome-incorreto-na-assinatura
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/cidadao/acessar-o-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/cidadao/consultar-as-minhas-solicitacoes
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/cidadao/abrir-um-chamado
-https://solicitacao.servicos.gov.br/processos/iniciar?codServico=13132
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/gestao-de-usuarios
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/registrar-um-chamado
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/registrar-uma-solicitacao-de-evolucao-melhoria
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/solicitar-novo-treinamento
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/sincronia-de-dados-com-a-automacao
-https://sso.acesso.gov.br/
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/recuperar-conta-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-gerais-no-aplicativo-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-para-aumentar-o-nivel-da-conta-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/ativar-a-verificacao-em-duas-etapas
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-sobre-a-gestao-de-dispositivos-no-gov.br
-https://registrato.bcb.gov.br/registrato/
-https://permissao.negocios.redesim.gov.br/consultar
-https://www.gov.br/governodigital/pt-br/identidade/identificacao-do-cidadao-e-carteira-de-identidade-nacional
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-alterei-meus-dados-cadastrais/identifiquei-uma-alteracao-ou-um-acesso-suspeito/solicitar-o-bloqueio-da-minha-conta-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/acessar-a-instancia-do-meu-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/visao-geral-da-plataforma
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/localizar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/cancelar-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/transferir-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/dicas-sobre-a-ferramenta/extrair-dados-de-um-processo
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/Falarcomatendente.png/view
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens/gov-br_logo-svg.png/view
-http://www.facebook.com/sharer.php?u=https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens
-https://twitter.com/share?text=Imagens&url=https://www.gov.br/governodigital/resolveuid/bb5b67152b10451ca991bb22a614dbf0
-https://www.linkedin.com/shareArticle?mini=true&url=https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens&title=Imagens
-https://api.whatsapp.com/send?text=https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/imagens
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-na-vinculacao-de-cnpj-no-gov.br/como-vincular-cnpj
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-na-vinculacao-de-cnpj-no-gov.br/como-gerenciar-colaboradores
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-no-login-com-certificado-no-gov.br
-https://www.gov.br/pt-br/servicos/solicitar-atendimento-conta-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-consigo-cadastrar-meu-endereco-no-gov.br
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/inconsistencia-de-dados-cadastrais-na-receita-federal
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/requisitos-para-acesso-aos-servicos
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/nao-alterei-meus-dados-cadastrais
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/registrar-um-chamado
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/solicitar-a-automacao-de-um-novo-servico
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/gestao-de-usuarios
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/registrar-uma-solicitacao-de-evolucao-melhoria
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/solicitar-novo-treinamento
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-plataforma-de-automacao/gestor-do-servico/solicitar-suporte/sincronia-de-dados-com-a-automacao
-https://www.gov.br/governodigital/pt-br/identidade/conta-gov-br/niveis-da-conta-govbr
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-no-aplicativo-gov.br/duvidas-no-reconhecimento-facial
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-para-aumentar-o-nivel-da-conta-gov.br/duvidas-na-autenticacao-dos-bancos
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-na-conta-gov.br/duvidas-para-aumentar-o-nivel-da-conta-gov.br/duvidas-para-aumentar-o-nivel-com-a-cin
-https://www.gov.br/governodigital/pt-br/acessibilidade-e-usuario/atendimento-gov.br/duvidas-nos-dados-cadastrais/requisitos-para-acesso-aos-servicos

config/edgedb/populate_edgedb.py

@@ -10,7 +10,7 @@ client = edgedb.create_client(
     tls_security="insecure"
 )
 
-for root, dirs, files in os.walk("../../Banco_de_Dados/Coleta/downloaded_files"):
+for root, dirs, files in os.walk("../coleta/downloaded_files"):
     for file in files:
         if file.endswith(".json"):
             with open(os.path.join(root, file), 'r') as f:

config/vetorial/oac/oac.py

@@ -1,33 +0,0 @@
-from openai import Client
-
-
-def get_description_of_image(oa_client: Client, image_url):
-    completion = oa_client.chat.completions.create(
-                model="gpt-4o-mini",
-                messages=[
-                    {
-                        "role": "system",
-                        "content": """
-                            You are an image descriptor who will describe images using the Brazilian Portuguese language.
-                            This description should be short and to the point, with a maximum of 50 characters, to be placed in the alt tag of an HTML.
-                        """ # noqa
-                    },
-                    {
-                        "role": "user",
-                        "content": [
-                            {
-                                "type": "text",
-                                "text": "What's in this image?"
-                            },
-                            {
-                                "type": "image_url",
-                                "image_url": {
-                                    "url": f"{image_url}"
-                                }
-                            }
-                        ]
-                    }
-                ],
-                max_tokens=300
-    )
-    return completion.choices[0].message.content

config/vetorial/rag.py

@@ -1,4 +1,5 @@
 import os
+import re
 import time
 from typing import List
 
@@ -7,65 +8,163 @@ import edgedb
 from openai import OpenAI
 from qdrant_client import QdrantClient
 
-from utils.markdown import generate_image_description_with_empty_description
 from utils.cli import \
     print_execution_time, start_loading_animation, stop_loading_animation
-from splitter import splitter
+from splitter.splitter import Splitter
 from qdrant_client.models import Distance, VectorParams
 from qdrant_client.models import PointStruct
 
-from utils.util import clear_enviromnent_variables
 
+class Rag():
+    def __init__(self):
+        self.type_env = None
 
-HEADERS_TO_SPLIT_ON = [
-        ("#", "Header 1"),
-        ("##", "Header 2"),
-        ("###", "Header 3"),
-        ("####", "Header 4"),
-        ("#####", "Header 5"),
-        ("######", "Header 6"),
-]
+        self.loading_split = None
+        self.loading_image_description = None
+        self.loading_embedding = None
+        self.done_split = [False]
+        self.done_image_description = [False]
+        self.done_embeding = [False]
 
+        self.edgedb_client = None
+        self.qdrant_client = None
 
-def safe_join(thread, done: List[bool]):
-    if thread is not None and thread.is_alive():
-        done[0] = True
-        thread.join()
+    def run(self):
+        try:
+            self._initial_config()
 
+            start_time = time.time()
+            print("➗ Começando o RAG...")
 
-def run():
-    clear_enviromnent_variables()
+            self._create_collection()
+            print("✅ Collection criada.")
 
-    type_env = input("Qual o tipo de ambiente? (dev, prod): ")
+            web_sites = self.edgedb_client.query('''
+                SELECT Website {
+                    url,
+                    text: {
+                        id,
+                        content
+                    },
+                    videos: {
+                    url
+                    },
+                    images: {
+                    path
+                    }
+                }
+            ''')
+            print("✅ Websites capturados.")
 
-    if type_env == "prod":
-        load_dotenv(dotenv_path="../../.env", override=True)
-    else:
-        load_dotenv(dotenv_path="../../.env.development", override=True)
+            self.loading_image_description = start_loading_animation(
+                self.done_image_description,
+                "Gerando Descrições de imagens caso não tenha..."
+            )
 
-    loading_split = None
-    loading_image_description = None
-    loading_embedding = None
-    done_split = [False]
-    done_image_description = [False]
-    done_embeding = [False]
+            texts_with_images_descriptions, error_images_description = \
+                self._generate_image_description_with_empty_description(web_sites)
 
-    try:
-        start_time = time.time()
-        print("➗ Começando o RAG...")
-        
-        edgedb_client = None
-        qdrant_client = None
-        if type_env == "prod":
-            edgedb_client = edgedb.create_client()
+            stop_loading_animation(
+                self.done_image_description,
+                self.loading_image_description
+            )
+            print("✅ Descrição de imagens geradas.")
+
+            self.loading_split = start_loading_animation(
+                self.done_split,
+                "Dividindo textos e salvando textos pai no bd..."
+            )
+
+            splitter = Splitter(texts_with_images_descriptions)
+            splitter.split()
+
+            for text_parent in splitter.texts_parent:
+                self.edgedb_client.query(
+                    """
+                    INSERT Pattern {
+                        id := <uuid>$id,
+                        content := <str>$content,
+                        parent_id := <uuid>$parent_id,
+                        url := <str>$url
+                    }
+                    """,
+                    id=text_parent["id"],
+                    content=text_parent["content"].page_content,
+                    parent_id=text_parent["parent_id"],
+                    url=text_parent["url"]
+                )
+            stop_loading_animation(self.done_split, self.loading_split)
+            print("✅ Textos dividos e textos pai salvo no Edgedb.")
+
+            count_embeddings = 0
+            total_child = len(splitter.texts_child)
+            for text_child in splitter.texts_child:
+                self.done_embeding = [False]
+                self.loading_embedding = start_loading_animation(
+                    self.done_embeding,
+                    f"""Gerando embeddings e salvando no qdrant: {count_embeddings} de {total_child}""" # noqa
+                )
+                embedding = self.oa_client.embeddings.create(
+                    input=[text_child["content"].page_content],
+                    model=os.environ.get("OPENAI_MODEL_EMBEDDING")
+                ).data[0].embedding
+                self.qdrant_client.upsert(
+                    collection_name=os.environ.get("COLLECTION_NAME"),
+                    points=[PointStruct(
+                        id=str(text_child["id"]),
+                        vector=embedding,
+                        payload={
+                            "content": text_child["content"].page_content,
+                            "parent_id": text_child["parent_id"],
+                            "type": "text"
+                        }
+                    )]
+                )
+                count_embeddings += 1
+                stop_loading_animation(self.done_embeding, self.loading_embedding)
+            
+            print("✅ Texto filho salvo no qdrant.")
+
+            print("✅ RAG finalizado.")
+
+            print(
+                f"""
+                📊 Relatório:\n
+                \t Tempo de execução: {print_execution_time(start_time)}\n
+                \t Textos Filhos e Embedding gerados: {len(splitter.texts_child)}\n
+                \t Textos pai gerados: {len(splitter.texts_parent)}\n
+                \t WebSites recuperados da base: {len(web_sites)}\n
+                \t Erros ao gerar descrição de imagens: {len(error_images_description)}\n
+            """) # noqa
+
+        except Exception as error:
+            print(f"❌ Erro: {error}")
+
+        finally:
+            Rag.safe_join(self.loading_split, self.done_split)
+            Rag.safe_join(self.loading_image_description, self.done_image_description)
+            Rag.safe_join(self.loading_embedding, self.done_embeding)
+
+    def _initial_config(self):
+        """
+            Carrega as novas váriaveis de ambiente dependendo do tipo de ambiente e faz as conexões necessárias.
+        """
+        self.type_env = input("Qual o tipo de ambiente? (dev, prod): ")
+
+        if self.type_env == "prod":
+            print("Carregando váriaveis de ambiente de produção...")
+            load_dotenv(dotenv_path="../../.env", override=True)
+            self.edgedb_client = edgedb.create_client()
             print("✅ Conectado ao edgedb.")
-            qdrant_client = QdrantClient(
+            self.qdrant_client = QdrantClient(
                 url=os.environ.get("QDRANT_URL"),
                 api_key=os.environ.get("QDRANT_KEY")
             )
             print("✅ Conectado ao qdrant.")
-        else:
-            edgedb_client = edgedb.create_client(
+        elif self.type_env == "dev":
+            print("Carregando váriaveis de ambiente de desenvolvimento...")
+            load_dotenv(dotenv_path="../../.env.development", override=True)
+            self.edgedb_client = edgedb.create_client(
                 host=os.environ.get("EDGEDB_HOST"),
                 user=os.environ.get("EDGEDB_USER"),
                 password=os.environ.get("EDGEDB_PASSWORD"),
@@ -73,135 +172,115 @@ def run():
                 tls_security="insecure"
             )
             print("✅ Conectado ao edgedb.")
-            qdrant_client = QdrantClient(
-                 host=os.environ.get("QDRANT_HOST"),
+            self.qdrant_client = QdrantClient(
+                host=os.environ.get("QDRANT_HOST"),
                 port=os.environ.get("QDRANT_PORT")
             )
             print("✅ Conectado ao qdrant.")
+        else:
+            raise Exception("Tipo de ambiente inválido.")
 
-        oa_client = OpenAI(
+        self.oa_client = OpenAI(
             api_key=os.environ.get("OPENAI_API_KEY")
         )
         print("✅ Conectado a OpenAI.")
-
-        if qdrant_client.collection_exists(os.environ.get("COLLECTION_NAME")):
-            qdrant_client.delete_collection(
+    
+    def _create_collection(self):
+        """
+            Cria a collection do qdrant e se caso existir, a deleta.
+        """
+        if self.qdrant_client.collection_exists(os.environ.get("COLLECTION_NAME")):
+            self.qdrant_client.delete_collection(
                 collection_name=os.environ.get("COLLECTION_NAME")
             )
-        qdrant_client.create_collection(
+        
+        self.qdrant_client.create_collection(
             collection_name=os.environ.get("COLLECTION_NAME"),
             vectors_config=VectorParams(size=1536, distance=Distance.COSINE)
         )
-        print("✅ Collection criada.")
-
-        web_sites = edgedb_client.query('''
-            SELECT Website {
-                url,
-                text: {
-                    id,
-                    content
-                },
-                videos: {
-                url
-                },
-                images: {
-                path
-                }
-            }
-            ''')
-        print("✅ Websites capturados.")
 
-        loading_image_description = start_loading_animation(
-            done_image_description,
-            "Gerando Descrições de imagens caso não tenha..."
-        )
+    def _generate_image_description_with_empty_description(self, websites):
+        """
+            Gera descrição de imagens caso não tenha.
+        """
+        # Expressão regular para encontrar o padrão ![](<link>)
+        pattern = r'!\[\]\(([^)]+)\)'
 
-        texts_with_images_descriptions, error_images_description = \
-            generate_image_description_with_empty_description(
-                oa_client,
-                web_sites
-            )
-        stop_loading_animation(
-            done_image_description,
-            loading_image_description
-        )
-        print("✅ Descrição de imagens geradas.")
+        def replace_description_image(match):
+            link = match.group(1)
+            new_description = self._get_description_of_image(link)
+            return f'![{new_description}]({link})'
 
-        texts_parent_splitted, texts_child_splitted = splitter.split(
-            texts_with_images_descriptions,
-            HEADERS_TO_SPLIT_ON
-        )
-        print("✅ Textos dividos.")
+        texts_with_images_descriptions = []
+        error_images_upload = []
+        for website in websites:
+            try:
+                text_with_image_description = re.sub(
+                    pattern,
+                    replace_description_image,
+                    website.text.content
+                )
+                texts_with_images_descriptions.append({
+                    "id": website.text.id,
+                    "content": text_with_image_description,
+                    "url": website.url
+                })
+            except Exception:
+                error_images_upload.append(
+                    f"{website.text.id}: {website.text.content}")
+                texts_with_images_descriptions.append({
+                    "id": website.text.id,
+                    "content": website.text.content,
+                    "url": website.url
+                })
+
+        return texts_with_images_descriptions, error_images_upload
 
-        loading_split = start_loading_animation(
-            done_split,
-            "Dividindo textos..."
+    def _get_description_of_image(self, image_url):
+        """
+            Faz uma chamada para Open AI aonde gera uma descrição para uma imagem
+        """
+        completion = self.oa_client.chat.completions.create(
+                    model="gpt-4o-mini",
+                    messages=[
+                        {
+                            "role": "system",
+                            "content": """
+                                You are an image descriptor who will describe images using the Brazilian Portuguese language.
+                                This description should be short and to the point, with a maximum of 50 characters, to be placed in the alt tag of an HTML.
+                            """ # noqa
+                        },
+                        {
+                            "role": "user",
+                            "content": [
+                                {
+                                    "type": "text",
+                                    "text": "What's in this image?"
+                                },
+                                {
+                                    "type": "image_url",
+                                    "image_url": {
+                                        "url": f"{image_url}"
+                                    }
+                                }
+                            ]
+                        }
+                    ],
+                    max_tokens=300
         )
-        for text_parent_splitted in texts_parent_splitted:
-            edgedb_client.query(
-                """
-                INSERT Pattern {
-                    id := <uuid>$id,
-                    content := <str>$content,
-                    parent_id := <uuid>$parent_id,
-                    url := <str>$url
-                }
-                """,
-                id=text_parent_splitted["id"],
-                content=text_parent_splitted["content"].page_content,
-                parent_id=text_parent_splitted["parent_id"],
-                url=text_parent_splitted["url"]
-            )
-        stop_loading_animation(done_split, loading_split)
-        print("✅ Texto pai salvo no Edgedb.")
-
-        count_embeddings = 0
-        total_child_splitted = len(texts_child_splitted)
-        for text_child_splitted in texts_child_splitted:
-            done_embeding = [False]
-            loading_embedding = start_loading_animation(
-                done_embeding,
-                f"""Gerando embeddings e salvando no qdrant: {count_embeddings} de {total_child_splitted}""" # noqa
-            )
-            embedding = oa_client.embeddings.create(
-                input=[text_child_splitted["content"].page_content],
-                model=os.environ.get("OPENAI_MODEL_EMBEDDING")
-            ).data[0].embedding
-            qdrant_client.upsert(
-                collection_name=os.environ.get("COLLECTION_NAME"),
-                points=[PointStruct(
-                    id=str(text_child_splitted["id"]),
-                    vector=embedding,
-                    payload={
-                        "content": text_child_splitted["content"].page_content,
-                        "parent_id": text_child_splitted["parent_id"],
-                        "type": "text"
-                    }
-                )]
-            )
-            count_embeddings += 1
-            stop_loading_animation(done_embeding, loading_embedding)
-        print("✅ Texto filho salvo no qdrant.")
-
-        print("✅ RAG finalizado.")
-
-        print(
-            f"""
-            📊 Relatório:\n
-            \t Tempo de execução: {print_execution_time(start_time)}\n
-            \t Textos Filhos e Embedding gerados: {len(texts_child_splitted)}\n
-            \t Textos pai gerados: {len(texts_parent_splitted)}\n
-            \t WebSites recuperados da base: {len(web_sites)}\n
-            \t Erros ao gerar descrição de imagens: {len(error_images_description)}\n
-        """) # noqa
-
-    except Exception as error:
-        print(f"❌ Erro: {error}")
-    finally:
-        safe_join(loading_split, done_split)
-        safe_join(loading_image_description, done_image_description)
-        safe_join(loading_embedding, done_embeding)
+        return completion.choices[0].message.content
+
+    @staticmethod
+    def safe_join(thread, done: List[bool]):
+        """
+            Faz o join de uma thread se ela estiver viva
+            parando assim o print de loading.
+        """
+        if thread is not None and thread.is_alive():
+            done[0] = True
+            thread.join()
 
 
 if __name__ == "__main__":
-    run()
+    rag = Rag()
+    rag.run()

config/vetorial/splitter/splitter.py

@@ -1,61 +1,97 @@
+from langchain_core.documents import Document
 from langchain_text_splitters import \
     MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter
 import uuid
+from typing import List
 
+HEADERS_TO_SPLIT_ON = [
+        ("#", "Header 1"),
+        ("##", "Header 2"),
+        ("###", "Header 3"),
+        ("####", "Header 4"),
+        ("#####", "Header 5"),
+        ("######", "Header 6"),
+]
 
-def split(texts, headers_to_split_on):
+class Splitter():
     """
-        Dividir os textos em chunks utilizando a lógica
-         "Parent Document Retriever",
-        retornando os chunks e os documentos pais.
+        Classe responsável por dividir os textos em chunks
     """
-    texts_parent_splitted_list = []
-    texts_child_splitted_list = []
 
-    for text in texts:
-        texts_parent_splitted = markdown_split(
-            text["content"], headers_to_split_on)
+    def __init__(self, texts):
+        self.texts = texts
+        self.texts_parent = []
+        self.texts_child = []
 
-        for text_parent_splitted in texts_parent_splitted:
-            parent_id = uuid.uuid4()
-            text_parent_splitted_dict = {
-                "id": parent_id,
-                "parent_id": text["id"],
-                "content": text_parent_splitted,
-                "url": text["url"]
-            }
+    def split(self):
+        """
+            Dividir os textos em chunks utilizando a lógica
+                "Parent Document Retriever",
+            retornando os textos filhos e os textos pais.
+        """
+        for text in self.texts:
+            texts_parent = Splitter._markdown_split(text["content"])
 
-            texts_parent_splitted_list.append(text_parent_splitted_dict)
-            texts_child_splitted = text_split(
-                text_parent_splitted.page_content)
+            for text_parent in texts_parent:
+                parent_id = self._save_parent_text(text, text_parent)
+                texts_child = Splitter._text_split(text_parent.page_content)
 
-            for text_child_splitted in texts_child_splitted:
-                child_id = uuid.uuid4()
-                texts_child_splitted_dict = {
-                    "id": child_id,
-                    "parent_id": parent_id,
-                    "content": text_child_splitted
-                }
+                for text_child in texts_child:
+                    self._save_child_text(parent_id, text_child)
 
-                texts_child_splitted_list.append(texts_child_splitted_dict)
+    
+        
+    def _save_parent_text(self, text, text_parent: str) -> uuid.UUID:
+        """
+            Responsável por salvar o texto pai com o id
+            do texto completo e seus dados completos e retornar
+            o id gerado do texto pai.
+        """
+        
+        parent_id = uuid.uuid4()
+        text_parent_data = {
+            "id": parent_id,
+            "parent_id": text["id"],
+            "content": text_parent,
+            "url": text["url"]
+        }
+        self.texts_parent.append(text_parent_data)
 
-    return [texts_parent_splitted_list, texts_child_splitted_list]
+        return parent_id
 
+    def _save_child_text(self, parent_id: uuid.UUID, text_child: str) -> None:
+        """
+            Responsável por salvar o texto filho com o id
+            do texto pai e seus dados completos.
+        """
+        child_id = uuid.uuid4()
+        text_child_data = {
+            "id": child_id,
+            "parent_id": parent_id,
+            "content": text_child
+        }
+        self.texts_child.append(text_child_data)
 
-def markdown_split(text, headers_to_split_on):
-    markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)
 
-    return markdown_splitter.split_text(text)
+    @staticmethod
+    def _markdown_split(text: str) -> List[str]:
+        """
+            Dividi o texto pelos headers explicitados
+        """
+        markdown_splitter = MarkdownHeaderTextSplitter(HEADERS_TO_SPLIT_ON)
+        return markdown_splitter.split_text(text)
 
-
-def text_split(text):
-    text_splitter = RecursiveCharacterTextSplitter(
-        chunk_size=500,
-        chunk_overlap=100,
-        length_function=len,
-        is_separator_regex=False,
-    )
-
-    texts = text_splitter.create_documents([text])
-
-    return texts
+    
+    @staticmethod
+    def _text_split(text_parent: str) -> List[Document]:
+        """
+            Dividi o texto em chunks
+        """
+        text_splitter = RecursiveCharacterTextSplitter(
+            chunk_size=500,
+            chunk_overlap=100,
+            length_function=len,
+            is_separator_regex=False,
+        )
+        
+        return text_splitter.create_documents([text_parent])

config/vetorial/utils/markdown.py

@@ -1,37 +0,0 @@
-import re
-from oac.oac import get_description_of_image
-
-
-def generate_image_description_with_empty_description(oa_client, websites):
-    # Expressão regular para encontrar o padrão ![](<link>)
-    pattern = r'!\[\]\(([^)]+)\)'
-
-    def replace_description_image(match):
-        link = match.group(1)
-        new_description = get_description_of_image(oa_client, link)
-        return f'![{new_description}]({link})'
-
-    texts_with_images_descriptions = []
-    error_images_upload = []
-    for website in websites:
-        try:
-            text_with_image_description = re.sub(
-                pattern,
-                replace_description_image,
-                website.text.content
-            )
-            texts_with_images_descriptions.append({
-                "id": website.text.id,
-                "content": text_with_image_description,
-                "url": website.url
-            })
-        except Exception:
-            error_images_upload.append(
-                f"{website.text.id}: {website.text.content}")
-            texts_with_images_descriptions.append({
-                "id": website.text.id,
-                "content": website.text.content,
-                "url": website.url
-            })
-
-    return texts_with_images_descriptions, error_images_upload

requirements.txt

@@ -3,7 +3,7 @@ annotated-types==0.7.0
 anyio==4.5.0
 async-timeout==4.0.3
 attrs==24.2.0
-bcrypt==4.2.0
+beautifulsoup4==4.12.3
 blinker==1.8.2
 cachetools==5.5.0
 certifi==2024.8.30
@@ -33,6 +33,7 @@ jsonschema-specifications==2023.12.1
 langchain-core==0.2.41
 langchain-text-splitters==0.2.4
 langsmith==0.1.133
+lxml==5.3.0
 markdown-it-py==3.0.0
 MarkupSafe==2.1.5
 mdurl==0.1.2
@@ -65,6 +66,7 @@ rpds-py==0.20.0
 six==1.16.0
 smmap==5.0.1
 sniffio==1.3.1
+soupsieve==2.6
 streamlit==1.39.0
 tenacity==8.5.0
 toml==0.10.2