<jupyter_start><jupyter_text>1 - Enviar os dados para o hdfs<jupyter_code># Copiar os dados para o container namenode
# docker cp covidFiles/ namenode:/input
# Aessar o namenode
# docker exex -it namenode bash
# Criado uma pasta para Projeto
!hdfs dfs -mkdir -p /user/projeto/covid19/dados
#  Validação da criação da pasta
!hdfs dfs -ls /user/projeto/covid19
# copiando os arquivos do projeto .csv para pasta do projeto no HDFS
!hdfs dfs -put /input/covidFiles /user/projeto/covid19/dados<jupyter_output>put: `/input/covidFiles': No such file or directory<jupyter_text>2 - Otimizar todos os dados do hdfs para uma tabela Hive particionada por município.<jupyter_code>from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
!hdfs dfs -ls /user/projeto/covid19/dados
sc
df = spark.read.csv("/user/projeto/covid19/dados/*.csv", sep =';', header = True)
df.show(3)
df.write.parquet("parquet")
!hdfs dfs -mkdir /user/projeto/covid19/bancao
df.write.saveAsTable("/user/projeto/covid19/bancao")
sqlContext.sql("show databases").show()
sqlContext.sql("create database projeto")
sqlContext.sql("use projeto").show()
sqlContext.sql("show tables").show()<jupyter_output>+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
+--------+---------+-----------+
{'fraction_non_alphanumeric': 0.18475750577367206, 'fraction_numerical': 0.01308698999230177, 'mean_word_length': 3.761904761904762, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 7, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '2', 'dir': 'jupyter-structured-clean-dedup', 'id': '133462', 'license': 'MIT', 'n_tokens_mistral': 506, 'n_tokens_neox': 489, 'n_words': 113, 'path': 'Basico.ipynb', 'repo_name': 'mcfaria/semantix-covid', 'size': '1299'}