Was ist der Unterschied zwischen "coalesce" und "repartition", wenn es darum geht, Partitionen in Spark zu mischen?
What is the difference between coalesce and repartition when it comes to shuffle partitions in spark
Coalesce essentially groups multiple partitions into a larger partitions. So use coalesce when you want to reduce the number of partitions (and also tasks) without impacting sort order.  Ex:- when you want to write-out a single CSV file output instead of multiple parts


Use repartition when you want to cause a shuffle that changes the number of partitions.  A common use-case for repartition is to remove skew in file sizes or to start out with a smaller/different number of partitions than the default in Spark
Coalesce fasst mehrere Partitionen zu einer größeren Partition zusammen. Verwende Coalesce also, wenn du die Anzahl der Partitionen (und auch der Aufgaben) reduzieren willst, ohne die Sortierreihenfolge zu beeinflussen.  Z.B. wenn du eine einzige CSV-Datei ausgeben willst, anstatt mehrere Teile.


Verwende repartition, wenn du die Anzahl der Partitionen durch eine Umschichtung ändern willst.  Ein häufiger Anwendungsfall für repartition ist die Beseitigung von Schiefständen in den Dateigrößen oder das Starten mit einer kleineren/anderen Anzahl von Partitionen als der Standardanzahl in Spark.
general_qa
de