Comment faire fonctionner Spark sur un cluster ?
How can I run Spark on a cluster?
You can use either the standalone deploy mode, which only needs Java to be installed on each node, or the Mesos and YARN cluster managers. If you'd like to run on Amazon EC2, AMPLab provides EC2 scripts to automatically launch a cluster.

Note that you can also run Spark locally (possibly on multiple cores) without any special setup by just passing local[N] as the master URL, where N is the number of parallel threads you want.
Il est possible d'utiliser le mode de déploiement autonome, qui ne nécessite que l'installation de Java sur chaque nœud, ou les gestionnaires de clusters Mesos et YARN. Si l'on souhaite fonctionner sur Amazon EC2, AMPLab fournit des scripts EC2 pour lancer automatiquement un cluster.

Il est également possible d'exécuter Spark localement (éventuellement sur plusieurs cœurs) sans aucune configuration particulière en passant simplement local comme URL maître, où N est le nombre de threads parallèles souhaités.
general_qa
fr