Como posso executar Spark num cluster?
Você pode usar o modo de implantação autônomo, que só precisa que o Java seja instalado em cada nó, ou os gerenciadores de cluster Mesos e YARN. Se você quiser executar no Amazon EC2, o AMPLab fornece scripts EC2 para iniciar automaticamente um cluster. Note que você também pode executar o Spark localmente (possivelmente em vários núcleos) sem qualquer configuração especial, passando local[N] como o URL mestre, onde N é o número de threads paralelos desejados.