Quelle est la différence entre une transformation étroite et une transformation large ?
What is the difference between a Narrow Transformation and Wide Transformation
+ Narrow Transformation: In Narrow transformation, all the elements that are required to compute the records in single partition live in the single partition of parent RDD. Ex:- Select, Filter, Union,
+ Wide Transformation: Wide transformation, all the elements that are required to compute the records in the single partition may live in many partitions of parent RDD. The partition may live in many partitions of parent RDD. Involves a network shuffle and are split between stages. Ex:- GroupBy, Repartition, Sorts
+ Transformation étroite : Dans la transformation étroite, tous les éléments requis pour calculer les enregistrements dans la partition unique se trouvent dans la partition unique du RDD parent. Ex:- Sélection, Filtre, Union,
+ Transformation large : Dans le cas d'une transformation large, tous les éléments nécessaires au calcul des enregistrements dans une seule partition peuvent se trouver dans plusieurs partitions du RDD parent. La partition peut se trouver dans plusieurs partitions du RDD parent. Implique un brassage du réseau et est divisé entre les étapes. Ex:- GroupBy, Repartition, Sorts
general_qa
fr