EOS: Migration eines On-Premises-DWH
Von On-Premises zu AWS Redshift: Erfolgreiche DWH-Migration mit Weitblick
Effizienter, agiler, zukunftsfähiger: EOS transformiert seine Datenplattform!
EOS stand vor der Herausforderung, sein On-Premises-DWH zu modernisieren. Gemeinsam mit b.telligent erfolgte die Migration zu AWS Redshift – für mehr Skalierbarkeit, 30 % schnellere Datenverarbeitung und 50 % geringere Betriebskosten. Das Ergebnis: eine leistungsstarke, flexible Datenplattform für datengetriebenes Wachstum.
Projekt auf einen Blick
Standort & Branche: Deuschland, Financial Services
Unternehmensgröße: Großunternehmen
Projektdauer: 8 Monate
Projekttyp: Beratungsprojekt I DWH Migration
Technologie: AWS Redshift, Ab Initio, Microstrategy, Power BI, Protegrity
50 %
Die Cloud-Infrastruktur senkt die laufenden Kosten um etwa 50 %.
Ausgangssituation und Herausforderung
EOS Technology Solutions (TS) ist der interne IT-Dienstleister der EOS-Gruppe. Das Unternehmen der OTTO Group ist im Bereich Forderungsmanagement tätig. Als zentrale Servicegesellschaft bietet EOS TS den Unternehmen der deutschen EOS-Tochter (EOS-DID) eine Datenplattform. Diese Plattform umfasst neben einem Data Lake ein DWH, ein ETL-Tool, eine BI-Lösung und auch Data-Science-Services. Ziel dieses Projekts war die Migration der On-Premises-Datenplattform in die Cloud.
Plattform-Migration nach AWS
Dieses Vorhaben umfasste dabei alle drei Phasen eines Migrationsprojekts, von einer Assess-Phase über die Mobilize-Phase bis hin zu der letztlichen Migration:
Für jeden funktionalen Baustein der Datenplattform wurden unterschiedliche Migrationsstrategien verfolgt:
Im Folgenden wird auf die Ablösung der Exasol-Datenbank durch AWS Redshift genauer eingegangen.
Die Problemstellung
Eine DWH-Migration ist in jedem Fall ein komplexes Unterfangen, wenn man sich gegen eine Lift- und Shift-Strategie entscheidet und wie in diesem Fall ein Refactoring auf eine neue Datenbank-Engine verfolgt. Hierbei sind folgende Anforderungen zu erfüllen:
- Reduktion der Infrastrukturkosten
- Erhalt und sogar Verbesserung der Performance von Lade- und Abfrageprozessen
- Möglichst hohe Migrationsgeschwindigkeit, um den Impact für Weiterentwicklung und Tagesgeschäft zu minimieren
- Fachliche Richtigkeit der übersetzten/optimierten ETL-Prozesse
Hierbei war insbesondere auch die Speicherlimitierung des bestehenden DWH auf Exasol (Lizenz und Hardwareausstattung On-Premises-Server) ein wesentlicher Treiber dafür, eine Ablösung durch Redshift in Erwägung zu ziehen.
Lösungsansatz und Lösungsarchitektur
Die Entscheidung gegen einen Lift- und Shift-Ansatz war zu Beginn des Projekts nicht klar. In einem ersten Schritt wurde mit vergleichbaren Datenvolumina und konkreten EOS-SQL-Abfragen ein Benchmark durchgeführt, der eine erste Aussage zu einem adäquaten Sizing von Redshift ermöglichte. Hierbei stellte sich heraus, dass sich Redshift mit etwa halb so großer Hardwareausstattung (CPU und Hauptspeicher) mit der Exasol-Datenbank messen lassen kann.
Zu diesem Zeitpunkt war auch bereits klar, dass Teile der bestehenden SQL-Skripte und Views auf der Redshift-Datenbank optimiert werden müssten, um hier eine mit der Exasol-DB vergleichbare Performance zu realisieren. Dies ist primär durch architekturelle Unterschiede in den beiden Datenbanken zu erklären (z. B. Sort Keys statt Indices oder auch unterschiedliches Verhalten der Query-Optimizer). Eine größere Auslegung der Redshift-DB war aus Kostengründen keine Option, und in der Regel empfiehlt sich in solchen Fällen erst eine Optimierung der Software (der SQLs). Nachdem eine Recherche nach Automatisierungstools für die Migration von Exasol nach Redshift zu keinen befriedigenden Ergebnissen geführt hatte, wurde entschieden, die Migration „von Hand“ durchzuführen, und zwar in folgenden Schritten:
- Inventarisierung der Migrationsobjekte (SQL-Skripte und Views)
- Umsetzung eines Generators (Shell-Skript) auf Basis von Exasol-Dictionary-Tabellen für
a) Tabellenexport von Exasol nach S3,
b) Tabellenimport von Redshift nach S3
c) Erzeugung von Tabellen-DDLs für die Redshift-Datenbank - Anlage einer „Übersetzungsliste“ für die Ablösung von Exasol-SQL durch Redshift-SQL
- Verproben der Dauer einer Datenmigration, die mit ca. 6 Stunden in einem vernünftigen Rahmen lag, sodass hier keine komplexe Datenmigration mit CDC oder sogar AWS Snowball zur Anwendung kommen musste
- Umsetzung eines Testframeworks für den detaillierten Vergleich der Exasol-Daten (Tabellen und Views) gegen Redshift-Daten. Hierbei werden für jede Tabelle/View detaillierte Statistiken (COUNT(*), COUNT(distinct column), MIN, MAX, AVG, LENGTH) erhoben und gegenübergestellt. Dieses Testframework basiert auf den Data Dictionaries und wird somit automatisiert erzeugt.
- Kontinuierliche Übersetzung von SQL-Skripten und Views und hierbei ein Vergleich der Daten beider Datenbanken.
Learnings
Eine DWH-Migration ist ein komplexes Projekt, bei dem wir (b.telligent und EOS) einiges gelernt haben:
Solche Migrationen lassen sich zwar in Standardvorgehen packen (Assess, Mobilize, Migrate & Modernize), letztlich sind es aber die Details des bestehenden Systems und Abhängigkeiten zwischen funktionalen Bausteinen, die jeweils besondere Aufmerksamkeit benötigen und Aufwandstreiber darstellen.
Stimmen aus dem Projekt
Mit der neuen Cloud-Infrastruktur haben wir uns für die kommenden Jahre gut aufgestellt. Die Cloud ist Enabler für eine ganze Reihe von nationalen und internationalen Themen, wie zum Beispiel den Aufbau eines DWH für die gesamte EOS-Gruppe.
Jakob Tewis
Team Lead Data Insights bei EOS Group
b.telligent Leistungen auf einen Blick
Cloud Migration Strategy
Entwicklung einer maßgeschneiderten Migrationsstrategie in drei Phasen – Assess, Mobilize, Migrate
DWH Refactoring
Manuelle SQL-Übersetzung und Optimierung für Redshift inklusive Testframework
CI/CD & Infrastructure as Code
Aufbau der kompletten Infrastruktur per Terraform (IaC) inkl. VPC, IAM & Co
ETL-Modernisierung
Migration und Optimierung von ETL-Prozessen (AbInitio, DMS) und Einführung eines neuen Frameworks
BI-Neuausrichtung
Ablösung von MicroStrategy durch Power BI inkl. Datenmodellanpassung
Datensicherheit & Governance
Integration von Protegrity auf AWS, Abstimmung mit ISO & Governance-Teams
Ergebnisse & Erfolge
Performance-Boost: Lade- und Abfrageprozesse laufen auf Redshift rund 30 % schneller als zuvor.
Signifikante Kostenreduktion: Die Cloud-Infrastruktur senkt die laufenden Kosten um etwa 50 %.
Cloud-Readiness: Aufbau einer skalierbaren, sicheren und agilen Datenplattform als Basis für die internationale Weiterentwicklung.
30 % schneller, 50 % günstiger: Das bringt die neue DWH-Lösung
Nach einem sehr intensiven Zeitraum von 8 Monaten waren sämtliche ETL-Prozesse (2.500 SQL-Skripte/Views) auf Redshift umgestellt, und die Tagesverarbeitung auf Redshift war um ca. 30 % schneller, wobei die Kosten der Infrastruktur (Exasol on AWS vs. Redshift) um ca. 50 % niedriger sind. Mit dieser Lösung hat EOS nun eine DWH-Lösung mit folgenden Merkmalen:
- nutzungsbasierte Infrastrukturkosten mit potenziell „unendlicher“ Skalierung
- signifikant höhere Agilität und kürzere Innovationszyklen sind möglich
- eine ganzheitliche Datenplattform auf AWS mit einer erhöhten Sicherheit im Hinblick auf Ausfallsicherheit
- erfolgreiche Umsetzung einer Reihe von „Seitenthemen“:
- Aufbau der kompletten AWS-Infrastruktur für DWH Data Lake und ETL mit Code (Terraform)
- Ablösung von Oracle GoldenGate durch DMS für die Datenversorgung durch das zentrale operative System
- Migration von Protegrity nach AWS
- Migration von AbInitio nach AWS
- Aufbau der AWS-Infrastruktur für Machine Learning
- Aufbau eines neuen Datenmodells für Power BI
- Migration von Reports
Ausblick: Roadmap für die Weiterentwicklung der DWH-Plattform
Ein DWH ist nie wirklich fertig, das bedeutet hier sind nach einer Migration mit einer eher geringen Weiterentwicklung nun unter anderem folgende Punkte auf der Roadmap:
- Umsetzung neuer Themen (neue Attribute, neue Datenquellen oder auch neue Aufbereitungen für Scores, etc.)
- weitere Optimierungen bei Datenmodell und ETL-Prozessen, um das bestehende Redshift-Cluster weiter herunterskalieren zu können und somit die Infrastrukturkosten weiter zu reduzieren
- Internationalisierung des DWH für die EOS-Gruppe
- Ausnutzen der Cloud-Infrastruktur für den Ausbau zu einer modernen Datenplattform (verstärkte Nutzung von Data Lake, weiterer Ausbau ML-Workloads, etc.)
- Validieren von Redshift Serverless als Möglichkeit der Reduktion von Operationsaufwänden und auch Kosten
Technologien im Einsatz
Amazon Web Services (AWS)
Als Advanced Partner von AWS unterstützt b.telligent seine Kunden bei der Migration und Einrichtung von Datenplattformen in der AWS-Cloud. Mehr Infos hier!
Die ganze Story zum Download
Du möchtest unsere Success Story als druckbaren Flyer? Für Dich, oder um Deinem Team das Projekt vorstellen zu können?
Dann lade Dir einfach hier die ganze Erfolgsstory als pdf herunter.
Viel Spaß beim Lesen!
Inspiriert?
Du findest unsere Success Stories spannend? Du hast eine ähnliche Herausforderung rund um die Themen Data, Analytics & AI und wünschst Dir professionelle Unterstützung? Dann melde Dich gern bei uns. In einem unverbindlichen Beratungsgespräch können wir schnell klären, wie wir Dir am besten helfen können.
