Wie groß ist der Cluster, auf den Spark skalieren kann?
How large a cluster can Spark scale to?
Many organizations run Spark on clusters of thousands of nodes. The largest cluster we know has 8000 of them. In terms of data size, Spark has been shown to work well up to petabytes. It has been used to sort 100 TB of data 3X faster than Hadoop MapReduce on 1/10th of the machines, winning the 2014 Daytona GraySort Benchmark, as well as to sort 1 PB. Several production workloads use Spark to do ETL and data analysis on PBs of data.
Viele Unternehmen betreiben Spark auf Clustern mit Tausenden von Knoten. Der größte uns bekannte Cluster hat 8000 davon. In Bezug auf die Datengröße hat Spark gezeigt, dass es bis zu Petabytes gut funktioniert. Es wurde eingesetzt, um 100 TB Daten dreimal schneller zu sortieren als Hadoop MapReduce auf einem Zehntel der Maschinen und gewann damit den Daytona GraySort Benchmark 2014, sowie 1 PB zu sortieren. Mehrere produktive Workloads nutzen Spark für ETL und die Datenanalyse von großen Datenmengen.
general_qa
de