هل يعطى سبارك التاريخ والوقت عندما يحصل حدث معين في التدفق المنظم؟
ليس مباشرة. مصدر البيانات هو المسؤول عن وقت الحدث، وقت الوصول هو عادة الطابع الزمني من مصدر خادم الرسائل الذي تقرأ منه (كافكا، كينيسيس، إلخ) ويمكن إدراج وقت المعالجة عند معالجة تدفق البيانات الواردة باستخدام وظيفة current_timestamp. https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$ هذا ليس بالضبط عندما تلقى سبارك البيانات من الخادم ولكنه قريب وسيتم تجميعه حسب فترة الزناد. لاحظ ان هذه الوظيفه لايمكن استخدامها عندما تكون في وضع مستمر.