Die Automatisierung von immer wiederkehrenden Aufgabenstellungen gehört zu den grundlegendsten Prinzipien der modernen Welt. Bereits Henry Ford erkannte daraus resultierende Vorteile, wie sinkende Fehleranfälligkeit, kürzere Fertigungszyklen und eine gleichbleibende, einheitliche Qualität. Eben diese Vorteile lassen sich bei Data-Warehouse-Initiativen anwenden.
Die Speicherung, Pflege und Erweiterung der unternehmensweiten Daten lässt sich mithilfe von Data-Warehouse-Automatisierungs-Werkzeugen (DWA-Tools) in wenigen Klicks realisieren, was zuvor noch einen Großteil der gesamten Entwicklungszeit erfordert hätte. Dabei gehen moderne DWA-Tools noch einen Schritt weiter und bieten tiefgreifende Impact- und Lineage-Funktionalitäten sowie automatisierte Regressions- und Qualitätstests, effiziente Beladungsroutinen, vereinfachte Deployments zwischen Umgebungen und eine weitreichende Generierung von Dokumentation an.
Um die genannten Möglichkeiten umzusetzen, werden die Informationen über Quelldaten, DWH-Strukturen und Beladungsprozesse vom DWA-Tool als Metadaten in einer Datenbank hinterlegt und verwaltet.
In der nachfolgenden Abbildung werden die grundsätzlichen Themenbereiche der Automatisierung noch einmal übersichtlich dargestellt:
Auf dem Markt haben sich bereits diverse DWA-Tools etabliert. Grundlegend lassen sich zwei Strömungen unterscheiden, nach denen vorgegangen wird (Eckerson, 2015, S. 5 ff): datengetriebene und modellgetriebene Ansätze.
Mithilfe von datengetriebenen DWA-Tools soll die physische Erstellung von Data-Warehouse-Strukturen stark automatisiert werden. Der Entwickler kann sich vereinfacht auf den Daten bewegen und SQL-Statements, Prozeduren, Skripte und sonstige Datenbankstrukturen automatisch generieren lassen. Für Fachbereiche hingegen ist die datennahe Darstellung eher ungeeignet, wodurch die Kommunikation und Abstimmung mit den Entwicklern vor allem über die prototypische Entwicklung von Ergebnismengen realisiert wird:
Die Ergebnismengen können über BI-Tools oder Excel visualisiert werden.
Besonders bei gut strukturierten und leicht zugänglichen Daten können rein datengetriebene DWA-Tools effektiv eingesetzt werden und einen Mehrwert bieten.
Modellgetriebene DWA-Tools hingegen verfolgen das Ziel, komplexe Sachverhalte auf eine höhere Abstraktionsebene zu heben und zu visualisieren. Auf diese Weise sollen sowohl Entwickler als auch Fachbereiche mit den Daten vereinfacht arbeiten können. Mithilfe des bereitgestellten GUI können Datenbewirtschaftungsprozesse intuitiv aufgebaut werden, wobei vorgefertigte Bausteine u. a. für das Erstellen von Dimensionen, Faktentabellen und Hierarchien zur Verfügung stehen.
Neben den rein daten- und modellgetriebenen Ansätzen gibt es weitere hybride DWA-Tools, in denen beide Ansätze unterstützt werden. Der Anbieter WhereScape beispielsweise erlaubt mit RED eine datengetriebene Verwaltung der DWH-Prozesse, bietet jedoch mit 3D zusätzlich eine Modellsicht. In 3D können Verarbeitungsschritte definiert und im Anschluss mit dem RED-Repository synchronisiert werden:
Welches DWA-Tool letztendlich das geeignete ist, sollte außer an den beschriebenen konzeptuellen Unterschieden der einzelnen Tools an weiteren Faktoren festgemacht werden. Auf Grundlage der in Abbildung 1 dargestellten Bereiche, bei denen grundsätzlich eine Automatisierung von Nutzen sein kann, werden in kommenden Blogeinträgen weitere Faktoren näher beleuchtet. Ziel dabei ist es, eine Übersicht zu geben, die als Entscheidungshilfe dienen kann.
Du willst den IoT Core durch eine Multi-Cloud-Lösung ersetzen und die Vorteile weiterer IoT-Services von Azure oder Amazon Web Services nutzen? Dann melde Dich bei uns und wir unterstützen Dich bei der Umsetzung mit unserer Expertise und dem b.telligent Partnernetzwerk.
Domain Lead Data Platform & Data Management
Domain Lead Data Platform & Data Management
Exasol ist ein führender Hersteller von analytischen Datenbanksystemen. Das Kernprodukt ist eine auf In-Memory-Technologie basierende Software für die professionelle, parallele und schnelle Datenanalyse. Normalerweise werden SQL-Statements in einem SQL-Skript sequenziell abgearbeitet. Wie können aber mehrere Statements gleichzeitig ausgeführt werden? Dies zeigen wir anhand eines einfachen Skripts in diesem Blogbeitrag.
Viele Unternehmen mit SAP-Quellsystemen kennen diese Herausforderung: Sie wollen ihre Daten in einen Azure Data Lake integrieren, um sie dort mit Daten aus anderen Quellsystemen und Applikationen für Reporting und Advanced Analytics weiterzuverarbeiten. Auch die neuen SAP-Informationen zur Nutzung des SAP-ODP-Frameworks führten bei b.telligent Kunden zu Fragen. In diesem Blogbeitrag stellen wir drei gute Ansätze zur Datenintegration (in die Microsoft Azure Cloud) vor, die wir bei b.telligent empfehlen und die von der SAP unterstützt werden.
In Teil 1 fassen wir die Anforderungen der Kunden zusammen.
Viele Unternehmen entscheiden sich im Rahmen ihrer aktuellen Modernisierung- und Digitalisierungsinitiativen, ihr Datawarehouse (DWH) oder auch ihre Datenplattform in die Cloud zu heben. Dieser Beitrag diskutiert aus fachlicher/organisatorischer Sicht, welche Aspekte dafür besonders wichtig sind und welche Strategien dabei helfen, etwaige Risiken zu minimieren. Eine Migration sollte nicht als rein technische Übung verstanden werden. "Weiche" Faktoren und Fachlichkeit haben einen deutlich höheren Einfluss.
Kein vorheriger Beitrag
Kein nächster Beitrag
