Was ist der Unterschied zwischen einer Narrow Transformation und einer Wide Transformation?
What is the difference between a Narrow Transformation and Wide Transformation
+ Narrow Transformation: In Narrow transformation, all the elements that are required to compute the records in single partition live in the single partition of parent RDD. Ex:- Select, Filter, Union,
+ Wide Transformation: Wide transformation, all the elements that are required to compute the records in the single partition may live in many partitions of parent RDD. The partition may live in many partitions of parent RDD. Involves a network shuffle and are split between stages. Ex:- GroupBy, Repartition, Sorts
+ Narrow Transformation: Bei der Narrow-Transformation befinden sich alle Elemente, die zur Berechnung der Datensätze in der einzelnen Partition benötigt werden, in der einzelnen Partition des übergeordneten RDD. Beispiel: Auswählen, Filtern, Vereinigen,
+ Weite Transformation: Bei der breiten Transformation können alle Elemente, die für die Berechnung der Datensätze in der einzelnen Partition erforderlich sind, in vielen Partitionen des übergeordneten RDD vorhanden sein. Die Partition kann sich in vielen Partitionen des übergeordneten RDD befinden. Die Elemente werden im Netzwerk gemischt und zwischen den Phasen aufgeteilt. Bsp:- GroupBy, Repartition, Sortierung
general_qa
de