Qual é a diferença entre o Spark Streaming e o Spark Structured Streaming?
Spark Streaming é a geração anterior do motor de streaming Spark. Não há mais atualizações para Spark Streaming e é um projeto legado. Spark Streaming fornece uma abstração de alto nível chamada fluxo discretizado ou DStream, que representa um fluxo contínuo de dados. Internamente, um DStream é representado como uma seqüência de RDDs. Spark Structured Streaming é a geração atual do motor de streaming Spark, que é mais rico em funcionalidade, mais fácil de usar e mais escalável. Spark Structured Streaming é construído em cima do motor Spark SQL e permite que você expresse computação de streaming da mesma maneira que você expressa uma computação em lote em dados estáticos. Você deve usar Spark Structured Streaming para construir aplicativos e pipelines com Spark. Se você tiver aplicativos legados e pipelines construídos no Streaming Spark, você deve migrá-los para o Spark Streaming Structured.