هل يعطي سبارك التاريخ والوقت لما يحصل حدث معين في التدفق المنظم؟
لا مباشرة. مصدر البيانات هو المسؤول عن وقت الحدث، وقت الوصول عادةً هو الختم الزمني من مصدر خادم الرسائل الذي تقرأ منه (كافكا، كينيسيس، إلخ) ويمكن إدراج وقت المعالجة عند معالجة تدفق البيانات الواردة باستخدام وظيفة current_timestamp. https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$ هذا ليس بالضبط عندما استلمت سبارك البيانات من الخادم ولكنها قريبة وستتم تجميعها حسب فترة الزناد. لاحظ انو هذي الوظيفه ما تقدر تستخدم لما تكون في وضع مستمر. https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#supported-queries