Qual é a diferença entre coalesce e repartition quando se trata de misturar partições em faísca
Coalesce essencialmente agrupa várias partições em partições maiores. Então use coalesce quando você quiser reduzir o número de partições (e também tarefas) sem afetar a ordem de classificação. Ex: - quando você quiser escrever uma única saída de arquivo CSV em vez de várias partes Use repartition quando você quiser causar um shuffle que altere o número de partições. Um caso de uso comum para repartition é remover o distorcimento nos tamanhos de arquivo ou começar com um número menor / diferente de partições do que o padrão no Spark