b.telligent-Berater Simon hat das „Lift and Shift“ mit Exasol getestet und erläutert in diesem Beitrag, wie die Cloud-Migration Stück für Stück gelingt.
Frust für die Betreiber des Online-Shops „Alles mit Links“: Gestern wurde ein Rabattcode an ausgewählte Kunden versendet. Heute soll überprüft werden, ob sich die Aktion gelohnt hat: Wenn mehr Linkshänderdosenöffner als an anderen Tagen bestellt wurden, geht der Rabattcode an alle Kunden raus. Nur: Auf den nötigen Bericht zu Erfolg oder Misserfolg der Maßnahme warten die Shop-Betreiber vergebens. Die Datenbank ist überfordert und benötigt viel zu lange; die Data Marts stehen zu spät zur Verfügung und das Reporting-Tool hat viel zu lange Wartezeiten. So lohnt es sich kaum, A-B-Testings oder andere zeitkritische Analysen durchzuführen – geschweige denn, geeignete Maßnahmen aus den Berichten abzuleiten.
Viele Unternehmen kennen das Problem: Die Datenbank, ursprünglich ein lehrbuchmäßiges Datenmodell, ist zu einem Data-Warehouse-Ungetüm gewachsen. Die Chancen, die ein modernes Data Warehouse in der Theorie bietet, liegen damit in weiter Ferne. Die Zeit für den Daily-Load wird immer knapper, von spontanem Laden tagsüber ganz zu schweigen. Neben der zu langsamen Verarbeitung der Daten ist die Integration neuer Quellen eine aufwändige und teure Angelegenheit. Irgendwann stößt jede Performance-Optimierung an ihre physischen Grenzen.
Idealerweise fließen in Scorings bzw. die ihnen zugrunde liegenden Data Marts nicht nur die Daten aus einem CRM-System oder den aktuellen Lagerbeständen. Wetterdaten können zum Beispiel helfen, saisonale Produkte zu bewerben. Mit den Massendaten aus einer eigenen App lassen sich die Produkte genauer auf die Bedürfnisse der Kunden anpassen. Eine Anbindung an Twitter kann zeigen, welche Trends relevant für die Zielgruppe sind.
Um all diese Quellen und Daten nutzen zu können, benötigen Unternehmen neben einer guten Architektur ihres Data Warehouse vor allem Leistung – beziehungsweise eine moderne, möglichst skalierbare Technologie. Exasol eignet sich dafür hervorragend und hat Tools zur Vereinfachung der Migration standardmäßig an Bord.
Zugegeben: Eine historisch gewachsene Datenbank mit vielen Quellen, Daten und Reports zu migrieren, ist aufwändig und teuer. Doch Exasol unterstützt seine Nutzer dabei, das bestehende Data Warehouse Schritt für Schritt zu migrieren und anzupassen.
Dazu muss zunächst die gewünschte Cloud ausgewählt werden. Aktuell stehen dazu AWS, Azure oder die Google Cloud zur Verfügung. Für diesen Beitrag haben wir uns beispielhaft für Azure entschieden. Nach Einrichtung eines Azure-Accounts steht die Exasol-Datenbank nach wenigen Klicks mit der gewünschten Performance sofort zur Verfügung und es kann losgelegt werden.
Anschließend werden die bestehenden Daten in die Cloud überführt. Dazu müssen zunächst die benötigten Connections angelegt werden. Exasol unterstützt standardmäßig alle gängigen Datenbankschnittstellen. Für unsere Migration nutzen wir den JDBC-Treiber. So wird die Connection zur Quelldatenbank hergestellt.
Als Nächstes ist unsere Struktur an der Reihe. Die DDLs für unsere Tabellendefinitionen und Views müssen nun im neuen Cloud-DWH angelegt werden, bevor die Daten initial geladen werden können. Dazu wird als Erstes ein Datenbankschema angelegt. Zum automatischen Erstellen der DDLs verwende ich einfach das Migrationsskript aus dem Exasol-Git-Repository, das dazu die Metadaten aus der Quelle verwendet. Im Git-Repository sind weitere Skripte und Anleitungen für alle gängigen Datenbanken von MySQL über Postgres bis hin zu SAP HANA zu finden. So lässt sich viel Coding-Arbeit sparen! Dennoch: Nach Abschluss des Vorprojekts oder POC sollte hier natürlich intensiv getestet werden!
Existiert bereits ein ETL-Tool, kann dessen Connection auf die neue Cloud-Datenbank umgehängt werden. Die bestehende „alte“ ETL-Logik kann damit beibehalten werden.
Wurde bisher noch kein ETL-Tool genutzt oder soll die „alte“ Datenbank weiter vorgehalten werden, bietet das „virtuelle Schema“ von Exasol hervorragende Dienste: Als Abstraction Layer erlaubt sie, externe Datenquellen in die Exasol-Plattform einzubinden. Die Datenquelle wird als eigenes Schema angezeigt und kann im regulären SQL der Exasol-Plattform abgefragt werden. Dadurch wird die Performance massiv optimiert – und die Auswertung der Daten gewinnt an Tempo.
Besonders lohnenswert ist das virtuelle Schema für Unternehmen, die viele standardisierte und kurzlebige Datenquellen nutzen möchten. Dabei treten auch die Vorteile der Cloud in den Vordergrund: Wie groß oder klein das DWH sein soll und wie viel Leistung es bringen muss, ist sehr flexibel. Die schnelle Anbindung und Exploration von neuen Datenquellen war nie einfacher.
Bevor sich ein Unternehmen für die Migration in die Cloud entscheidet, sollten alle wichtigen Bausteine als POC einmal durchgespielt und die Performance getestet werden. Exasol ist nicht nur eine hervorragende und hochperformante Datenbank in der Cloud, sondern bringt dazu eine Menge an hilfreichen Bordmitteln schon mit, wie im Beitrag gezeigt wurde:
Auf diese Weise kann eine Migration im Vergleich zu alternativen Lösungen sowohl in Bezug auf die Kosten als auch auf den Aufwand extrem entschärft werden.
Was den Gang in die Cloud mit Exasol besonders attraktiv macht, ist die Möglichkeit der Skalierung (Up/Out) sowie die verbesserte Performance einer selbst optimierenden Datenbank. Das ETL-Tool und das Reporting bleiben von der Migration weitestgehend unberührt: Sie können nach dem Austausch der Connections bei Beibehaltung der Struktur wie gewohnt weiterbetrieben werden.
Du willst den IoT Core durch eine Multi-Cloud-Lösung ersetzen und die Vorteile weiterer IoT-Services von Azure oder Amazon Web Services nutzen? Dann melde Dich bei uns und wir unterstützen Dich bei der Umsetzung mit unserer Expertise und dem b.telligent Partnernetzwerk.
Domain Lead Data Platform & Data Management
Domain Lead Data Platform & Data Management
Exasol ist ein führender Hersteller von analytischen Datenbanksystemen. Das Kernprodukt ist eine auf In-Memory-Technologie basierende Software für die professionelle, parallele und schnelle Datenanalyse. Normalerweise werden SQL-Statements in einem SQL-Skript sequenziell abgearbeitet. Wie können aber mehrere Statements gleichzeitig ausgeführt werden? Dies zeigen wir anhand eines einfachen Skripts in diesem Blogbeitrag.
Viele Unternehmen mit SAP-Quellsystemen kennen diese Herausforderung: Sie wollen ihre Daten in einen Azure Data Lake integrieren, um sie dort mit Daten aus anderen Quellsystemen und Applikationen für Reporting und Advanced Analytics weiterzuverarbeiten. Auch die neuen SAP-Informationen zur Nutzung des SAP-ODP-Frameworks führten bei b.telligent Kunden zu Fragen. In diesem Blogbeitrag stellen wir drei gute Ansätze zur Datenintegration (in die Microsoft Azure Cloud) vor, die wir bei b.telligent empfehlen und die von der SAP unterstützt werden.
In Teil 1 fassen wir die Anforderungen der Kunden zusammen.
Viele Unternehmen entscheiden sich im Rahmen ihrer aktuellen Modernisierung- und Digitalisierungsinitiativen, ihr Datawarehouse (DWH) oder auch ihre Datenplattform in die Cloud zu heben. Dieser Beitrag diskutiert aus fachlicher/organisatorischer Sicht, welche Aspekte dafür besonders wichtig sind und welche Strategien dabei helfen, etwaige Risiken zu minimieren. Eine Migration sollte nicht als rein technische Übung verstanden werden. "Weiche" Faktoren und Fachlichkeit haben einen deutlich höheren Einfluss.
Kein vorheriger Beitrag
Kein nächster Beitrag
