Wie kann ich Spark in einem Cluster betreiben?
How can I run Spark on a cluster?
You can use either the standalone deploy mode, which only needs Java to be installed on each node, or the Mesos and YARN cluster managers. If you'd like to run on Amazon EC2, AMPLab provides EC2 scripts to automatically launch a cluster.

Note that you can also run Spark locally (possibly on multiple cores) without any special setup by just passing local[N] as the master URL, where N is the number of parallel threads you want.
Du kannst entweder den eigenständigen Bereitstellungsmodus verwenden, bei dem nur Java auf jedem Knoten installiert sein muss, oder die Cluster-Manager Mesos und YARN. Wenn du auf Amazon EC2 laufen möchtest, stellt AMPLab EC2-Skripte bereit, um automatisch einen Cluster zu starten.

Beachte, dass du Spark auch lokal ausführen kannst (möglicherweise auf mehreren Kernen), ohne dass du etwas Besonderes einrichten musst, indem du einfach local als Master-URL angibst, wobei N die Anzahl der gewünschten parallelen Threads ist.
general_qa
de