Até que tamanho pode um aglomerado escalar?
Muitas organizações executam o Spark em clusters de milhares de nós. O maior cluster que conhecemos tem 8000 deles. Em termos de tamanho de dados, o Spark tem sido mostrado para funcionar bem até petabytes. Ele foi usado para classificar 100 TB de dados 3 vezes mais rápido do que o Hadoop MapReduce em 1/10 das máquinas, ganhando o Daytona GraySort Benchmark de 2014, bem como para classificar 1 PB. Várias cargas de trabalho de produção usam o Spark para fazer ETL e análise de dados em PBs de dados.