Mes données doivent-elles tenir dans la mémoire pour utiliser Spark ?
Does my data need to fit in memory to use Spark?
No. Spark's operators spill data to disk if it does not fit in memory, allowing it to run well on any sized data. Likewise, cached datasets that do not fit in memory are either spilled to disk or recomputed on the fly when needed, as determined by the RDD's storage level.
Les opérateurs de Spark déversent les données sur le disque si elles ne tiennent pas dans la mémoire, ce qui lui permet de fonctionner correctement avec des données de toutes tailles. De même, les ensembles de données mis en cache qui ne tiennent pas en mémoire sont soit déversés sur le disque, soit recalculés à la volée lorsque cela est nécessaire, en fonction du niveau de stockage du RDD.
general_qa
fr