Modernisierung der Datenarchitektur bei loadbee

Lösungsansatz

In initialen Workshops mit b.telligent wurde der Status quo genau analysiert und die nötigen Anforderungen ermittelt. Nach Auswertung der Ergebnisse empfahl b.telligent die Einführung einer modernen AWS-Lake-House-Architektur, die die Vorteile eines Data Lakes und eines Data Warehouses kombiniert. Hier dient der Data Lake als zentraler Speicher für Tracking-Daten ebenso wie für weitere Quellen wie Produktstammdaten und Ereignisdaten. Im Data Warehouse werden diese Daten dann integriert, strukturiert und für Dashboards aufbereitet.

Zu den weiteren Datenquellen gehören beispielsweise die Stammdaten der Marken, ihrer Online-Shops und deren Produktinformationen sowie Ereignisdaten zu Syndikationsinhalten. Im Data Warehouse werden die Syndikations- und Stammdaten dann in ein Kernschema integriert. Das Kernschema dient als Quelle für maßgeschneiderte Aggregate in der Präsentationsschicht, die als Datenquelle für die neuen Dashboards dient.

Die Datenverarbeitung und das Metadatenmanagement wurden mithilfe einer Kombination aus Amazon Glue und dbt implementiert. Glue-Datenpipelines extrahieren die Daten aus den Datenquellen und schreiben sie in den Data Lake, wo sie in einer Rohdatenschicht in ihrem ursprünglichen Datenformat, JSON oder CSV, gespeichert werden. Die Datenpipeline verarbeitet die Rohdaten dann in der standardisierten Datenschicht weiter, die alle Daten in ein einheitliches Format konvertiert und als Parquet-Dateien speichert. Während des Prozesses werden Metadaten über die Daten im Glue Data Catalog gesammelt.

Auf Basis des Data Catalogs wird Redshift Spectrum verwendet, um eine virtuelle Staging-Schicht im Redshift-Serverless-basierten Data Warehouse zu definieren. Für die Datenverarbeitung und -transformation im Data Warehouse wurde DBT (Data Build Tool) ausgewählt, ein Open-Source-Tool zur Datentransformation. Mit DBT konnten DWH-Transformationen erstellt werden, um die Rohdaten in eine Kerndatenschicht und nachfolgend in die Präsentationsschicht zu integrieren. Auf diese Präsentationsschicht greifen die Dashboards zu, die in Yellowfin BI implementiert sind.

Während der Umsetzung des Projekts wurden DataOps Best Practices eingeführt und die Infrastruktur sowie die Datenpipelines entsprechend implementiert. Die AWS-Infrastruktur wird über Code in Terraform definiert. Bereitstellungen erfolgten ausschließlich über die CI/CD-Pipelines von GitHub. CI/CD-Pipelines wurden auch für die Bereitstellung aller Datenpipelines verwendet.

Als Teil der Datenverarbeitung wurden Datenqualitätstests eingeführt und in den automatisierten Datenpipelines ausgeführt. Die Überwachung der Infrastruktur und der Datenverarbeitung im Data Lake ist im AWS Cloud Watch Dashboard verfügbar, und bei Ausfällen von Datenpipelines werden Nachrichten per E-Mail über den Benachrichtigungsdienst AWS SNS versandt, um einen durchweg performanten und reibungslosen Betrieb zu gewährleisten.

‍

Dank des neuen, mehrschichtigen Datenmodell-Ansatzes wurde die Anreicherung der Daten von der Implementierung der Tracking-Daten entkoppelt. Marken-, Produkt- und Shop-Informationen aus den Stammdaten-Quellsystemen werden nun gemeinsam mit Syndication-Event-Daten in die Kernschicht des Data Warehouses integriert. Dadurch eröffnen sich völlig neue Möglichkeiten zur Datenanalyse, da alle zusätzlichen Felder und Informationen aus den Stammdatensystemen direkt für die Analyse von Syndikationen und Ereignissen genutzt werden können. Um performante Dashboards zu gewährleisten, wurden in der Präsentationsschicht spezifische Aggregattabellen für die jeweiligen Anwendungsfälle erstellt.