L'étincelle fournit-elle la date et l'heure auxquelles un événement particulier est reçu dans le flux structuré ?
Does spark provide date & time when a particular event is received in the structured streaming?
Not directly.  The source of the data is responsible for event time, the “arrival” time is typically the timestamp from the message server source you are reading from (Kafka, Kinesis, etc.) and the “processing” time can be inserted when processing the incomming data stream using the functions package current_timestamp function. https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$  This isn’t exactly when Spark received the data from the server but is close and will be grouped by trigger interval.  Note that this function can not be used when in continuous mode.  https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#supported-queries
Pas directement.  La source des données est responsable de l'heure de l'événement, l'heure "d'arrivée" est typiquement l'horodatage de la source du serveur de messages que vous lisez (Kafka, Kinesis, etc.) et l'heure de "traitement" peut être insérée lors du traitement du flux de données entrant en utilisant la fonction current_timestamp du paquet de fonctions. https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$ Ce n'est pas exactement quand Spark a reçu les données du serveur mais c'est proche et sera groupé par l'intervalle de déclenchement.  A noter que cette fonction ne peut pas être utilisée en mode continu. https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#supported-queries
creative_writing
fr