Human: 스파크에서 파티션을 셔플할 때 병합과 재분할의 차이점은 무엇인가요? 

Assistant: Coalesce는 기본적으로 여러 파티션을 더 큰 파티션으로 그룹화합니다. 따라서 정렬 순서에 영향을 주지 않고 파티션 수(및 작업 수)를 줄이고 싶을 때 병합을 사용하세요.  예: 여러 파트 대신 단일 CSV 파일 출력을 작성하려는 경우


파티션 수를 변경하는 셔플을 수행하려는 경우 파티션 재분할을 사용합니다.  파티션 재분할의 일반적인 사용 사례는 파일 크기의 왜곡을 제거하거나 Spark의 기본값보다 더 작거나 다른 수의 파티션으로 시작하는 것입니다.</s>