vorheriger Artikel
b.telligent-Berater Simon hat das „Lift and Shift“ mit Exasol getestet und erläutert in diesem Beitrag, wie die Cloud-Migration Stück für Stück gelingt.
Frust für die Betreiber des Online-Shops „Alles mit Links“: Gestern wurde ein Rabattcode an ausgewählte Kunden versendet. Heute soll überprüft werden, ob sich die Aktion gelohnt hat: Wenn mehr Linkshänderdosenöffner als an anderen Tagen bestellt wurden, geht der Rabattcode an alle Kunden raus. Nur: Auf den nötigen Bericht zu Erfolg oder Misserfolg der Maßnahme warten die Shop-Betreiber vergebens. Die Datenbank ist überfordert und benötigt viel zu lange; die Data Marts stehen zu spät zur Verfügung und das Reporting-Tool hat viel zu lange Wartezeiten. So lohnt es sich kaum, A-B-Testings oder andere zeitkritische Analysen durchzuführen – geschweige denn, geeignete Maßnahmen aus den Berichten abzuleiten.
Viele Unternehmen kennen das Problem: Die Datenbank, ursprünglich ein lehrbuchmäßiges Datenmodell, ist zu einem Data-Warehouse-Ungetüm gewachsen. Die Chancen, die ein modernes Data Warehouse in der Theorie bietet, liegen damit in weiter Ferne. Die Zeit für den Daily-Load wird immer knapper, von spontanem Laden tagsüber ganz zu schweigen. Neben der zu langsamen Verarbeitung der Daten ist die Integration neuer Quellen eine aufwändige und teure Angelegenheit. Irgendwann stößt jede Performance-Optimierung an ihre physischen Grenzen.
Idealerweise fließen in Scorings bzw. die ihnen zugrunde liegenden Data Marts nicht nur die Daten aus einem CRM-System oder den aktuellen Lagerbeständen. Wetterdaten können zum Beispiel helfen, saisonale Produkte zu bewerben. Mit den Massendaten aus einer eigenen App lassen sich die Produkte genauer auf die Bedürfnisse der Kunden anpassen. Eine Anbindung an Twitter kann zeigen, welche Trends relevant für die Zielgruppe sind.
Um all diese Quellen und Daten nutzen zu können, benötigen Unternehmen neben einer guten Architektur ihres Data Warehouse vor allem Leistung – beziehungsweise eine moderne, möglichst skalierbare Technologie. Exasol eignet sich dafür hervorragend und hat Tools zur Vereinfachung der Migration standardmäßig an Bord.
Der erste Schritt: Exasol in der Cloud aufsetzen
Zugegeben: Eine historisch gewachsene Datenbank mit vielen Quellen, Daten und Reports zu migrieren, ist aufwändig und teuer. Doch Exasol unterstützt seine Nutzer dabei, das bestehende Data Warehouse Schritt für Schritt zu migrieren und anzupassen.
Dazu muss zunächst die gewünschte Cloud ausgewählt werden. Aktuell stehen dazu AWS, Azure oder die Google Cloud zur Verfügung. Für diesen Beitrag haben wir uns beispielhaft für Azure entschieden. Nach Einrichtung eines Azure-Accounts steht die Exasol-Datenbank nach wenigen Klicks mit der gewünschten Performance sofort zur Verfügung und es kann losgelegt werden.
An alles gedacht? So gelingt der Umzug von Daten und Views
Anschließend werden die bestehenden Daten in die Cloud überführt. Dazu müssen zunächst die benötigten Connections angelegt werden. Exasol unterstützt standardmäßig alle gängigen Datenbankschnittstellen. Für unsere Migration nutzen wir den JDBC-Treiber. So wird die Connection zur Quelldatenbank hergestellt.
Als Nächstes ist unsere Struktur an der Reihe. Die DDLs für unsere Tabellendefinitionen und Views müssen nun im neuen Cloud-DWH angelegt werden, bevor die Daten initial geladen werden können. Dazu wird als Erstes ein Datenbankschema angelegt. Zum automatischen Erstellen der DDLs verwende ich einfach das Migrationsskript aus dem Exasol-Git-Repository, das dazu die Metadaten aus der Quelle verwendet. Im Git-Repository sind weitere Skripte und Anleitungen für alle gängigen Datenbanken von MySQL über Postgres bis hin zu SAP HANA zu finden. So lässt sich viel Coding-Arbeit sparen! Dennoch: Nach Abschluss des Vorprojekts oder POC sollte hier natürlich intensiv getestet werden!
Damit alles fließt: ETL und Reporting
Existiert bereits ein ETL-Tool, kann dessen Connection auf die neue Cloud-Datenbank umgehängt werden. Die bestehende „alte“ ETL-Logik kann damit beibehalten werden.
Wurde bisher noch kein ETL-Tool genutzt oder soll die „alte“ Datenbank weiter vorgehalten werden, bietet das „virtuelle Schema“ von Exasol hervorragende Dienste: Als Abstraction Layer erlaubt sie, externe Datenquellen in die Exasol-Plattform einzubinden. Die Datenquelle wird als eigenes Schema angezeigt und kann im regulären SQL der Exasol-Plattform abgefragt werden. Dadurch wird die Performance massiv optimiert – und die Auswertung der Daten gewinnt an Tempo.
Besonders lohnenswert ist das virtuelle Schema für Unternehmen, die viele standardisierte und kurzlebige Datenquellen nutzen möchten. Dabei treten auch die Vorteile der Cloud in den Vordergrund: Wie groß oder klein das DWH sein soll und wie viel Leistung es bringen muss, ist sehr flexibel. Die schnelle Anbindung und Exploration von neuen Datenquellen war nie einfacher.
Fazit: POC
Bevor sich ein Unternehmen für die Migration in die Cloud entscheidet, sollten alle wichtigen Bausteine als POC einmal durchgespielt und die Performance getestet werden. Exasol ist nicht nur eine hervorragende und hochperformante Datenbank in der Cloud, sondern bringt dazu eine Menge an hilfreichen Bordmitteln schon mit, wie im Beitrag gezeigt wurde:
- Das Aufsetzen in der Cloud ist schnell und unkompliziert. Die bestehenden Datenquellen lassen sich schnell per Connections in der Exasol anbinden.
- Die Struktur (DDL) wurde direkt aus der Quelle erzeugt. So können im nächsten Schritt die Daten direkt migriert werden.
- Alle Logiken wurden beibehalten. So konnte das Reporting-Tool ohne weitere Anpassungen auf die neue Datenbank umgehangen werden.
Auf diese Weise kann eine Migration im Vergleich zu alternativen Lösungen sowohl in Bezug auf die Kosten als auch auf den Aufwand extrem entschärft werden.
Was den Gang in die Cloud mit Exasol besonders attraktiv macht, ist die Möglichkeit der Skalierung (Up/Out) sowie die verbesserte Performance einer selbst optimierenden Datenbank. Das ETL-Tool und das Reporting bleiben von der Migration weitestgehend unberührt: Sie können nach dem Austausch der Connections bei Beibehaltung der Struktur wie gewohnt weiterbetrieben werden.
Konnte ich Deine Neugierde auf die Arbeit mit Exasol bzw. die DWH-Migration in die Cloud wecken? Bei weiteren Fragen stehen wir Dir gerne zur Verfügung!
