¿Mis datos tienen que caber en la memoria para utilizar Spark?
Does my data need to fit in memory to use Spark?
No. Spark's operators spill data to disk if it does not fit in memory, allowing it to run well on any sized data. Likewise, cached datasets that do not fit in memory are either spilled to disk or recomputed on the fly when needed, as determined by the RDD's storage level.
No. Los operadores de Spark vuelcan los datos al disco si no caben en la memoria, lo que le permite funcionar bien con datos de cualquier tamaño. Del mismo modo, los conjuntos de datos almacenados en caché que no caben en la memoria se vuelcan al disco o se vuelven a calcular sobre la marcha cuando se necesitan, según determine el nivel de almacenamiento del RDD.
general_qa
es