¿Cuál es la diferencia entre coalesce y repartition cuando se trata de barajar particiones en spark?
What is the difference between coalesce and repartition when it comes to shuffle partitions in spark
Coalesce essentially groups multiple partitions into a larger partitions. So use coalesce when you want to reduce the number of partitions (and also tasks) without impacting sort order.  Ex:- when you want to write-out a single CSV file output instead of multiple parts


Use repartition when you want to cause a shuffle that changes the number of partitions.  A common use-case for repartition is to remove skew in file sizes or to start out with a smaller/different number of partitions than the default in Spark
Coalescer esencialmente agrupa múltiples particiones en una partición mayor. Así que utiliza coalesce cuando quieras reducir el número de particiones (y también de tareas) sin afectar al orden de clasificación.  Ej:- cuando quieras escribir la salida de un único archivo CSV en lugar de varias particiones


Utiliza reparticionar cuando quieras provocar un barajado que cambie el número de particiones.  Un caso de uso común de la repartición es eliminar la asimetría en el tamaño de los archivos o empezar con un número de particiones menor/distinto al predeterminado en Spark.
general_qa
es