Sparkはどれくらいの規模のクラスタにスケールできるのか？
多くの組織では、数千ノードのクラスターでSparkを運用しているのだ。拙者たちが知っている最大のクラスターは8000台もあるのだ。データサイズに関しては、Sparkはペタバイトまでうまく動作することが示されている。100TBのデータを1/10のマシンでHadoop MapReduceの3倍速くソートし、2014年のDaytona GraySort Benchmarkで優勝したほか、1PBのソートにも使用されている。いくつかのプロダクションワークロードでは、Sparkを使用してPBsのデータでETLとデータ分析を行っているのだ。