Welche Prüfungen sollten durchgeführt werden, wenn eine Datenpipeline ausfällt?
What checks should be done when a data pipeline fails
Generally data pipelines have sources, transformations and targets. First, check for errors on sources. Second, check for errors on transformations built in pipeline. Third, check for errors on targets. Further, check for errors on underlying infrastructure of the pipeline such as network, authentication and memory systems.
Datenpipelines haben in der Regel Quellen, Transformationen und Ziele. Überprüfe zuerst die Quellen auf Fehler. Prüfe zweitens, ob die in der Pipeline enthaltenen Transformationen fehlerhaft sind. Drittens prüfe auf Fehler bei den Zielen. Überprüfe außerdem die der Pipeline zugrunde liegende Infrastruktur wie Netzwerk, Authentifizierung und Speichersysteme auf Fehler.
brainstorming
de