Auf Grundlage unseres vorherigen Blogbeitrags sollten sich unsere transformierten Daten nun im Data Lake befinden und im Glue-Datenkalalog zur Verfügung stehen. Im zweiten Artikel unserer Blogreihe klären wir nun, was AWS Lake Formation ist und wie Du es nutzen kannst, um unbefugten Datenzugriff zu verhindern.
AWS Lake Formation ist ein vollständig verwalteter Service, der das Erstellen, Sichern und Verwalten von Data Lakes auf AWS vereinfacht. Mit AWS Lake Formation kannst du Sicherheitsrichtlinien und Zugriffskontrollen definieren, Datenmanagement und -Governance einrichten oder weitere AWS-Services für die Datenverarbeitung und -analyse integrieren.
Die wichtigsten Vorteile von AWS Lake Formation sind:
Das folgende Diagramm bietet eine Übersicht darüber, wie AWS Lake Formation Nutzeranfragen verarbeitet. Versucht ein:e User:in, auf Daten zuzugreifen, die von AWS Lake Formation verwaltet werden, werden ihm temporär gültige Zugangsdaten mit von Lake Formation festgelegten Zugriffsbeschränkungen bereitgestellt.
Wie wir bereits in Teil 1 unserer Blogreihe gesehen haben, werden personenbezogene Daten (PII) und nicht personenbezogene Daten (Non-PII) in separaten Buckets gespeichert. Bei der Verarbeitung von PII-Daten ist höchste Sorgfalt vonnöten, denn Datenschutzverstöße können teuer werden, wie mehrere Fälle in verschiedenen Ländern gezeigt haben. Deshalb nutzen wir AWS Lake Formation, um eindeutige Regeln für den Zugriff auf PII- und Non-PII-Daten festzulegen.
Zunächst müssen wir einen Data-Lake-Administrator:in bestimmen, der/die als einzige:r User:in befugt ist, Lake Formation-Berechtigungen für den Zugriff auf Daten-Speicherorte und Datenkatalog-Ressourcen an einen Principal zu erteilen. Zu diesem Zweck empfehlen wir, keine:n Nutzer:in mit Administratorrechten zu wählen. Die für den/die Data-Lake-Administrator:in erforderliche Richtlinie findet sich unter „AWSLakeFormationDataAdmin“. Du hast außerdem die Möglichkeit, weitere Richtlinien für den/dir jeweilige:n Nutzer:in zu ergänzen, etwa für den kontoübergreifenden Datenaustausch.
Sobald der/die User:in eingerichtet wurde, müssen wir die S3-Speicherorte in Lake Formation registrieren. Dazu gehen wir in den Abschnitt „Data Lake locations“ und registrieren jeweils einen Speicherort pro Bucket. So stellen wir sicher, dass die Berechtigungen zum Zugriff auf die Daten im jeweiligen Bucket durch Lake Formation und nicht durch Nutzerberechtigungen geregelt werden.
Nachdem wir nun alles eingerichtet haben, schauen wir uns als nächstes an, wie wir Berechtigungen ändern können. Es gibt verschiedene Möglichkeiten, Berechtigungen mit unterschiedlicher Granularität zu erstellen und zu erteilen, z. B. auf Datenbank-, Tabellen-, Spalten-, Zeilen- oder Tag-Ebene (siehe Screenshot unten). Mithilfe von Datenfiltern (siehe Screenshot unten rechts) können wir festlegen, welche Spalten bei Zuweisung zu einer Berechtigung berücksichtigt bzw. ausgeschlossen werden sollen. Hier ist es auch möglich, eine WHERE-Klausel zum Filtern auf Zeilenebene zu verwenden. Die Verwaltung von Berechtigungen mittels Tags ermöglicht uns, ganz einfach Gruppenberechtigungen für bestimmte Daten mit diesem Tag zu erteilen. Ausführliche Informationen zu allen Berechtigungsoptionen findest Du in der Dokumentation (AWS LakeFormation Dokumentation). Darüber hinaus hat AWS bereits angekündigt, dass die Datenfreigabe von Amazon Redshift ab sofort die zentralisierte Zugriffskontrolle mit AWS Lake Formation unterstützt (AWS-Mitteilung).
Im zweiten Teil unserer Blogreihe ging es um die Anwendungsmöglichkeiten von Lake Formation und die Vorteile für unseren Use Case. Wir haben jetzt den Config Bucket, Crawler, ETL-Jobs sowie separate Buckets für PII- und Non-PII-Daten eingerichtet und nutzen AWS Lake Formation für die Verwaltung aller Berechtigungen. Wir haben außerdem gesehen, auf welchen Ebenen Berechtigungen erteilt werden können.
Im nächsten Blogbeitrag soll es darum gehen, wie wir die datenschutzrechtlichen Anforderungen der DSGVO noch besser erfüllen, indem wir das Recht auf Vergessenwerden und das Auskunftsrecht in unser Framework implementieren. Bei Fragen, melde Dich gerne bei uns!
Du willst den IoT Core durch eine Multi-Cloud-Lösung ersetzen und die Vorteile weiterer IoT-Services von Azure oder Amazon Web Services nutzen? Dann melde Dich bei uns und wir unterstützen Dich bei der Umsetzung mit unserer Expertise und dem b.telligent Partnernetzwerk.
Domain Lead Data Platform & Data Management
Domain Lead Data Platform & Data Management
Exasol ist ein führender Hersteller von analytischen Datenbanksystemen. Das Kernprodukt ist eine auf In-Memory-Technologie basierende Software für die professionelle, parallele und schnelle Datenanalyse. Normalerweise werden SQL-Statements in einem SQL-Skript sequenziell abgearbeitet. Wie können aber mehrere Statements gleichzeitig ausgeführt werden? Dies zeigen wir anhand eines einfachen Skripts in diesem Blogbeitrag.
Viele Unternehmen mit SAP-Quellsystemen kennen diese Herausforderung: Sie wollen ihre Daten in einen Azure Data Lake integrieren, um sie dort mit Daten aus anderen Quellsystemen und Applikationen für Reporting und Advanced Analytics weiterzuverarbeiten. Auch die neuen SAP-Informationen zur Nutzung des SAP-ODP-Frameworks führten bei b.telligent Kunden zu Fragen. In diesem Blogbeitrag stellen wir drei gute Ansätze zur Datenintegration (in die Microsoft Azure Cloud) vor, die wir bei b.telligent empfehlen und die von der SAP unterstützt werden.
In Teil 1 fassen wir die Anforderungen der Kunden zusammen.
Viele Unternehmen entscheiden sich im Rahmen ihrer aktuellen Modernisierung- und Digitalisierungsinitiativen, ihr Datawarehouse (DWH) oder auch ihre Datenplattform in die Cloud zu heben. Dieser Beitrag diskutiert aus fachlicher/organisatorischer Sicht, welche Aspekte dafür besonders wichtig sind und welche Strategien dabei helfen, etwaige Risiken zu minimieren. Eine Migration sollte nicht als rein technische Übung verstanden werden. "Weiche" Faktoren und Fachlichkeit haben einen deutlich höheren Einfluss.
Kein vorheriger Beitrag
Kein nächster Beitrag
