Was schlagen Sie für die Bronzeschicht vor, wie mit Datenquellen umzugehen ist, die als JSON/CSV/Avro usw. kommen (Onprem-SQL-Daten, die als JSON über Azure Data Factory in ADLS importiert werden, oder API-Aufrufe, die JSON zurückliefern)? Sollten diese Daten ohne Verarbeitung in der Bronzeschicht in ADLS gespeichert/verarbeitet und als Delta in Bronze gespeichert werden, oder sollten wir eine Vor-Bronzeschicht haben?
For Bronze layer, how do you suggest handling the data sources that are coming as JSON/CSV/Avro, etc. (Onprem SQL data imported as json via Azure Data Factory into ADLS Or API Calls that return JSON) Should that be stored without processing in bronze layer in ADLS/Process them and store as Delta in bronze or should we have a pre bronze layer?
Either method will work.  There are some advantages to using a delta bronze layer over relying on your JSON files in ADLS.  It is a lot more performant to re-process data that's in the bronze delta format than re-processing the json files in ADLS.  This is because all of your data will be consolidated and filesizes will be optimized in your bronze layer.
Beide Methoden werden funktionieren.  Die Verwendung einer Bronze-Delta-Schicht hat einige Vorteile gegenüber der Verwendung von JSON-Dateien in ADLS.  Die Wiederverarbeitung von Daten im Bronze-Delta-Format ist viel leistungsfähiger als die Wiederverarbeitung von JSON-Dateien im ADLS.  Das liegt daran, dass alle deine Daten konsolidiert und die Dateigrößen in deinem Bronze-Layer optimiert werden.
general_qa
de