Como o Spark se relaciona com o Apache Hadoop?
O Spark é um motor de processamento rápido e geral compatível com dados Hadoop. Ele pode ser executado em clusters Hadoop através do YARN ou do modo autônomo do Spark, e pode processar dados em HDFS, HBase, Cassandra, Hive e qualquer Hadoop InputFormat. Ele é projetado para executar processamento em lote (semelhante ao MapReduce) e novas cargas de trabalho como streaming, consultas interativas e aprendizado de máquina.