Wie kann ich beim Lesen von Daten aus Kafka mit Spark eine einmalige Zustellung sicherstellen?
How can I ensure exactly-once delivery when reading data from Kafka with Spark?
To ensure exactly once delivery, you can use the idempotent producer setting in Kafka and the checkpointing mechanism in Spark Structured Streaming. This is possible to achieve if your sink is a delta table, but not if the sink is another Kafka topic.
Um eine genau einmalige Zustellung zu gewährleisten, kannst du die idempotente Producer-Einstellung in Kafka und den Checkpointing-Mechanismus in Spark Structured Streaming verwenden. Dies ist möglich, wenn deine Senke eine Deltatabelle ist, aber nicht, wenn die Senke ein anderes Kafka-Thema ist.
general_qa
de