SparkでKafkaからデータを読み込む際、どのようにすればactly-once deliveryを確保できますか？
きっちり1回配信するためには、Kafkaのidempotent producer設定とSpark Structured Streamingのチェックポイント機構を利用することができるのだ。これはシンクがデルタテーブルの場合は実現可能ですが、シンクが別のKafkaトピックの場合は実現できませんなのだ。