<jupyter_start><jupyter_text>¿Cómo se ven estas particiones dentro de spark?<jupyter_code>rddDesdeArchivo = spark \
    .sparkContext \
    .textFile(
    '/home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/curso-apache-spark-platzi/files/deporte.csv', 10)
rddDesdeArchivo.getNumPartitions()<jupyter_output><empty_output><jupyter_text>Método con el que podemos guardar los RDD y DF que hemos ido creando.<jupyter_code>rddDesdeArchivo.saveAsTextFile("/home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto")
!ls /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00000
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00001
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00002
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00003
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00004
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00005
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00006
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00007
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00008
!head -n 5 /home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/part-00009<jupyter_output>61,Croquet
62,<NAME>
63,Roque
64,Alpinism
65,Basque Pelota<jupyter_text>¿Cómo podemos volver a utilizar estos archivos? Si están almacenados en disco tenemos que poder cargarlos de alguna manera para poderlos utilizar.<jupyter_code>rdd = spark.sparkContext.wholeTextFiles("/home/oscarp/Platzimaster/CursosNecesarios/CursoSpark/code/test/salidatexto/*")

lista = rdd.mapValues(lambda x: x.split()).collect()
lista
lista = [l[0] for l in lista ]
lista.sort()
lista
# Cargando el contenido
rdd2 = spark.sparkContext.textFile(','.join(lista),10).map(lambda l: l.split(","))
rdd2.take(5)
spark.stop()<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.12053571428571429, 'fraction_numerical': 0.03482142857142857, 'mean_word_length': 6.159744408945687, 'pattern_counts': {'":': 0, '<': 13, '<?xml version=': 0, '>': 13, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '410302', 'license': 'MIT', 'n_tokens_mistral': 995, 'n_tokens_neox': 944, 'n_words': 118, 'path': 'code/test/particionado.ipynb', 'repo_name': 'OscarPalominoC/CursoSpark', 'size': '2246'}