Quelle est la taille du cluster sur lequel Spark peut évoluer ?
How large a cluster can Spark scale to?
Many organizations run Spark on clusters of thousands of nodes. The largest cluster we know has 8000 of them. In terms of data size, Spark has been shown to work well up to petabytes. It has been used to sort 100 TB of data 3X faster than Hadoop MapReduce on 1/10th of the machines, winning the 2014 Daytona GraySort Benchmark, as well as to sort 1 PB. Several production workloads use Spark to do ETL and data analysis on PBs of data.
De nombreuses organisations utilisent Spark sur des clusters de plusieurs milliers de nœuds. Le plus grand cluster que nous connaissons en compte 8000. En ce qui concerne la taille des données, il a été démontré que Spark fonctionne bien jusqu'à des pétaoctets. Il a été utilisé pour trier 100 TB de données 3X plus rapidement que Hadoop MapReduce sur 1/10ème des machines, remportant le Daytona GraySort Benchmark 2014, ainsi que pour trier 1 PB. Plusieurs charges de travail de production utilisent Spark pour faire de l'ETL et de l'analyse de données sur des Po de données.
general_qa
fr