¿Cuál es la diferencia entre Spark Streaming y Spark Structured Streaming? ¿Qué debo utilizar?
What’s the difference between Spark Streaming and Spark Structured Streaming? What should I use?
Spark Streaming is the previous generation of Spark’s streaming engine. There are no longer updates to Spark Streaming and it’s a legacy project. Spark Streaming provides a high-level abstraction called discretized stream or DStream, which represents a continuous stream of data. Internally, a DStream is represented as a sequence of RDDs.

Spark Structured Streaming is the current generation of Spark’s streaming engine, which is richer in functionality, easier to use, and more scalable. Spark Structured Streaming is built on top of the Spark SQL engine and enables you to express streaming computation the same way you express a batch computation on static data.

You should use Spark Structured Streaming for building streaming applications and pipelines with Spark. If you have legacy applications and pipelines built on Spark Streaming, you should migrate them to Spark Structured Streaming.
Spark Streaming es la generación anterior del motor de streaming de Spark. Ya no hay actualizaciones de Spark Streaming y es un proyecto heredado. Spark Streaming proporciona una abstracción de alto nivel denominada flujo discretizado o DStream, que representa un flujo continuo de datos. Internamente, un DStream se representa como una secuencia de RDDs.

Spark Structured Streaming es la generación actual del motor de flujo de Spark, que es más rico en funcionalidad, más fácil de usar y más escalable. Spark Structured Streaming está construido sobre el motor Spark SQL y te permite expresar el cálculo de flujo de la misma forma que expresas un cálculo por lotes sobre datos estáticos.

Deberías utilizar Spark Structured Streaming para construir aplicaciones de streaming y pipelines con Spark. Si tienes aplicaciones y procesos heredados construidos con Spark Streaming, deberías migrarlos a Spark Structured Streaming.
general_qa
es