Quelle est la différence entre coalesce et repartition lorsqu'il s'agit de mélanger des partitions dans spark ?
What is the difference between coalesce and repartition when it comes to shuffle partitions in spark
Coalesce essentially groups multiple partitions into a larger partitions. So use coalesce when you want to reduce the number of partitions (and also tasks) without impacting sort order.  Ex:- when you want to write-out a single CSV file output instead of multiple parts


Use repartition when you want to cause a shuffle that changes the number of partitions.  A common use-case for repartition is to remove skew in file sizes or to start out with a smaller/different number of partitions than the default in Spark
Coalesce regroupe essentiellement plusieurs partitions en une plus grande. On utilise donc coalesce lorsqu'on veut réduire le nombre de partitions (et aussi de tâches) sans affecter l'ordre de tri.  Ex:- lorsqu'on veut écrire un seul fichier CSV en sortie au lieu de plusieurs parties


Utiliser repartition lorsque l'on souhaite effectuer un mélange qui modifie le nombre de partitions.  Un cas d'utilisation courant de repartition est d'éliminer l'asymétrie dans la taille des fichiers ou de commencer avec un nombre de partitions plus petit/différent que le nombre par défaut dans Spark.
general_qa
fr