Diese komplette und schrittweise schnelle Demo zeigt Ihnen, wie man eine existierende Datenquelle intern mit einer modernen Cloud-Warehouse-Lösung wie Snowflake verbindet:
Außerdem zeigt die Demo, dass Snowflake in Azure eine großartige Kombination aus der Azure Datenfabrik, den Funktionen von Azure und Microsoft Power BI neben weiteren bekannten verbundenen Services im Azure-Cloud-Ökosystem ist, inklusive der Funktion des einmaligen Anmeldens im Azure Active-Adressbuch. Es wird außerdem aufgezeigt, dass es möglich ist, eine Hyperscale-Unternehmens-Datenanalytiklösung mit einer Zwei-Anbieter-Strategie zu bauen.
Die Azure Datenfabrik kann sowohl ELT und ETL Aufgaben erledigen. Momentan ist kein systemeigener Snowflake Open-Source-Anschluss in ADF V2 verfügbar. Allerdings sind mit dem Snowflake.net Driver verschiedene Optionen für Arbeitsbelastungen mit Azure-Funktionen und benutzerdefinierten Aktivitäten, zusammen mit Azure Datenfabrik-Pipelines, möglich.
Die Szenarien hängen von vielen Faktoren und Umständen ab. In unserem Fall sind die Quellen meistens relationale Datenbank-Management-Systeme. Aus verschiedenen Gründen wollen wir Daten nicht aus unserer Quelle in eine CSV-Datei ziehen und die CSV dann zur Cloud-Blob-Lagerung übertragen sowie diese in Snowflake mit systemeigenen Anschlüssen einspielen. Allerdings wäre dies immer noch ein sinnvolles und geläufiges Szenario.
Wir wollen ein Szenario verwenden, in dem wir beide Datenbanken direkt verbinden können, indem wir mithilfe der Azure Datenfabrik die Daten direkt aus den Quellentabellen in Snowflake-Tabellen einspielen. Nach dem Einspielen der Daten möchten wir Microsoft Power BI dazu verwenden, die Daten mithilfe einer Live-Verbindung zu dem Analytik-Modell zu analysieren. Diese direkte Verbindung zum Datenlager hat den Vorteil, dass wir die Daten nicht wieder aus Snowflake laden müssen.
Instrumente und Services, die in der Demo verwendet werden:
Hintergrund: Architektur bei Azure – wie wir es gebaut haben
Installieren Sie den Snowflake ODBC Driver
Öffnen Sie ODBC Datenquellen (64-Bit) und erstellen Sie eine neue Datenquelle
Geben Sie die Details in das Snowflake-Verbindungs-Dialogfenster ein
Installieren und konfigurieren Sie die Azure Runtime-Integration und erstellen bzw. konfigurieren Sie die Runtime-Integration in einer Azure Datenfabrik V2
Installieren Sie Azure Runtime-Integration, intern (On-Premises)
Registrieren Sie die Laufzeit (Runtime) und geben Sie den Authentifizierungsschlüssel der ADF V2 Runtime ein, den Sie vorher erstellt haben
Erstellen Sie einen neuen ODBC-verknüpften Service in der Azure Datenfabrik
Konfigurieren Sie den ODBC-verknüpften Service, indem Sie den Namen der Datenquelle, den Benutzernamen und das vorher erstellte Passwort eingeben.
Testen Sie die Verbindung in der Azure Datenfabrik
Erstellen Sie eine Tabelle in Snowflake - Datentypen sind in dieser schnellen Demo irrelevant.
Erteilen Sie im Bedarfsfall entsprechende Zugriffsrechte. Für diese Demo wählen wir die Schnellversion, was normalerweise nicht empfohlen wird:
Kopieren Sie den Datenassistenten (Wizard) aus der Azure Datenfabrik V2
Erstellen Sie einen neuen verknüpften Service mit einem internen SQL-Server. Alle verknüfpten Services, die Azure Runtime-Integration unterstützen, sind hier verfügbar, inklusive Oracle, Sap, MySQL, Teradata, etc. Oder Sie können sich einfach mit einem „Direct Load“ durch die Azure Datenfabrik mit Snowflake verbinden.
Geben Sie den Servernamen ein, den Sie durch die vorher konfigurierte Azure Runtime-Integration erhalten haben, und lassen Sie sich authentifizieren. Testen Sie die Verbindung.
Wählen Sie nun die kürzlich konfigurierte interne Datenquelle aus.
Wählen Sie Ihre Datentabellen aus Ihrer internen Datenquelle aus.
Wählen Sie den mit Snowflake verknüpften Service aus, der vorher als Bestimmungsort erstellt wurde
Ordnen Sie die ausgewählten Tabellen zu
Ordnen Sie die Spalten den Tabellen zu
Einstellungen
Zusammenfassung
Lassen Sie die Pipeline laufen
Verbinden Sie sich mit der Power BI Direct Query
Du willst den IoT Core durch eine Multi-Cloud-Lösung ersetzen und die Vorteile weiterer IoT-Services von Azure oder Amazon Web Services nutzen? Dann melde Dich bei uns und wir unterstützen Dich bei der Umsetzung mit unserer Expertise und dem b.telligent Partnernetzwerk.
Domain Lead Data Platform & Data Management
Domain Lead Data Platform & Data Management
Exasol ist ein führender Hersteller von analytischen Datenbanksystemen. Das Kernprodukt ist eine auf In-Memory-Technologie basierende Software für die professionelle, parallele und schnelle Datenanalyse. Normalerweise werden SQL-Statements in einem SQL-Skript sequenziell abgearbeitet. Wie können aber mehrere Statements gleichzeitig ausgeführt werden? Dies zeigen wir anhand eines einfachen Skripts in diesem Blogbeitrag.
Viele Unternehmen mit SAP-Quellsystemen kennen diese Herausforderung: Sie wollen ihre Daten in einen Azure Data Lake integrieren, um sie dort mit Daten aus anderen Quellsystemen und Applikationen für Reporting und Advanced Analytics weiterzuverarbeiten. Auch die neuen SAP-Informationen zur Nutzung des SAP-ODP-Frameworks führten bei b.telligent Kunden zu Fragen. In diesem Blogbeitrag stellen wir drei gute Ansätze zur Datenintegration (in die Microsoft Azure Cloud) vor, die wir bei b.telligent empfehlen und die von der SAP unterstützt werden.
In Teil 1 fassen wir die Anforderungen der Kunden zusammen.
Viele Unternehmen entscheiden sich im Rahmen ihrer aktuellen Modernisierung- und Digitalisierungsinitiativen, ihr Datawarehouse (DWH) oder auch ihre Datenplattform in die Cloud zu heben. Dieser Beitrag diskutiert aus fachlicher/organisatorischer Sicht, welche Aspekte dafür besonders wichtig sind und welche Strategien dabei helfen, etwaige Risiken zu minimieren. Eine Migration sollte nicht als rein technische Übung verstanden werden. "Weiche" Faktoren und Fachlichkeit haben einen deutlich höheren Einfluss.
Kein vorheriger Beitrag
Kein nächster Beitrag
