Comment assurer une livraison exacte (exactly-once delivery) lors de la lecture de données depuis Kafka avec Spark ?
How can I ensure exactly-once delivery when reading data from Kafka with Spark?
To ensure exactly once delivery, you can use the idempotent producer setting in Kafka and the checkpointing mechanism in Spark Structured Streaming. This is possible to achieve if your sink is a delta table, but not if the sink is another Kafka topic.
Pour garantir une livraison unique, il est possible d'utiliser le paramètre idempotent producer dans Kafka et le mécanisme checkpointing dans Spark Structured Streaming. Il est possible d'y parvenir si la source est une table delta, mais pas si la source est un autre sujet Kafka.
general_qa
fr