Lösungsansatz

Eine „klassische“ Lösung, das war dem Projektteam schnell klar, würde schon alleine aufgrund des enormen Workloads zu keinem befriedigenden Ergebnis führen. Daher entschied es sich gemeinsam mit dem Kunden bereits sehr früh für einen metadatenbasierten Ansatz, der auch Einfluss auf die Auswahl der Komponenten hatte.

Die Entscheidung für eine neue (primäre) Cloud-Plattform fiel auf Microsoft Azure, die sich ideal um die b.telligent metaFactory erweitern ließ. Sie ermöglicht es nicht nur, Datenquellen automatisiert in den Azure Data Lake (ADLS Gen2) zu laden. Die Quellen werden darüber hinaus analysiert und gewonnenen Informationen zu den Metadaten hinzugefügt. Die damit parametrisierten Synapse Pipelines erlauben eine Verarbeitung bis zum Historized Layer (Delta Parquet), in dem die Quelldaten nun versioniert zur weiteren Nutzung zur Verfügung stehen.

Automatisierte Verarbeitung und Streaming-Architektur

Im nächsten Schritt kümmerte sich das b.telligent Team um die automatische Verarbeitung im Snowflake Data Warehouse mit Data Vault als Methodik für das Core Layer. Um die automatische Anbindung zu schaffen, erweiterten sie die b.telligent metaFactory um einen Generator für Snowflake External Tables. Bei dieser konsequenten ELT-Vorgehensweise fand die Automation mit Datavault Builder ausschließlich innerhalb von Snowflake statt. Zwar konnten durch die Nutzung der Metadaten viele Verarbeitungsschritte automatisiert werden –  ganz ohne Entwicklungsleistung gelang dies aber nicht.

Gewisse Reportinganforderungen machten den Aufbau einer Streaming-Architektur notwendig, um den Nutzenden die Daten zeitnah und aktuell in Snowflake zur Verfügung zu stellen. Ausgehend von einer PostgreSQL-Datenbank wurden diese mit Hilfe von Debezium streamingfähig aufbereitet und in ein lokales Kafka-Cluster geschrieben. Aufbauend darauf ermöglicht es Mirror Maker, die Daten aus einem Kafka-Cluster in einen anderen zu replizieren. Diese Funktionalität wurde genutzt, um die Daten in die Cloud, respektive einen Azure Event Hub, zu replizieren, der wiederum die Daten via Event Capture in den Azure Data Lake schrieb. Das Zusammenspiel von EventGrid und Storage Queue ermöglichte dann die effiziente Übertragung der Daten nach Snowflake zur weiteren Verarbeitung.Somit wurde schnell klar, dass auch dieser Bereich so effizient wie möglich automatisiert werden musste. Das Konzept beinhaltete neben Continuous Integration/ Continuous Deployment (CI/CD) über Azure DevOps und einem sorgfältig geplanten Release-Management-Prozess auch die Bereitstellung unabhängiger Entwicklungsumgebungen (Sandboxes) für jeden einzelnen Use Case. Zu Spitzenzeiten arbeiteten schließlich bis zu 90 Entwickler:innen und 200 Business Tester weltweit an diesem Projekt.

Sicheres Berechtigungsmanagement für regulatorische Anforderungen

Um den regulatorischen Anforderungen von Beginn an Rechnung zu tragen, wurden für die Benutzer:innen (Entwickler:innen und Consumer) eine Reihe funktionaler Rollen definiert. Diese können über das zentrale User Provisioning im Siemens Konzern automatisch auf technische Rollen gemappt und den entsprechenden User-Accounts in den Anwendungen (Snowflake, Azure, Datavault Builder) zugeordnet werden. In Kombination mit weiteren Metadaten wurden im nächsten Schritt in Snowflake auch automatisch Row- und Column-Level-Policies für den Datenzugriff gesetzt, um das innerhalb der Finanzbranche sehr wichtig Need-to-Know-Prinzip durchzusetzen. Die individuellen Berechtigungen werden dann per Self-Service und Workflow einfach im User Provisioning System beantragt.

b.metaFactory

Die b.telligent metaFactory ist ein von b.telligent entwickeltes leistungsstarkes Framework für die Datenintegration mit Azure Data Factory. Mit über 100 Konnektoren, darunter für Oracle und SAP, bietet es maximale Flexibilität beider Anbindung verschiedenster Quellsysteme. Durch parametrisierte Pipelines und eine zentrale Steuerungstabelle lassen sich neue Datenquellen einfach und schnell integrieren. Die Daten werden im performanten Delta-Format im Azure Datalake gespeichert. Dank umfassender Logging- und Überwachungsfunktionen garantiert die metaFactory höchste Wartbarkeit und Sicherheit – und das alles innerhalb der Azure Subscription. Schnell, sicher und zukunftssicher: Deine Daten, optimal integriert.