Cloudmigration bei voller Fahrt – ProSiebenSat.1 macht’s vor
Erfolgreiche Migration einer komplexen Datenplattform in die AWS-Cloud
ProSiebenSat.1 hebt ab: Erfolgreiche Cloudmigration mit b.telligent
Gemeinsam mit b.telligent migriert der Medienkonzern ProSiebenSat.1 Tech & Services GmbH seine komplexe BI-Plattform in die Cloud – ohne den laufenden Betrieb zu unterbrechen. Über 80 Datenquellen, sieben Teams und modernste Tools wie Snowflake und Datavault Builder greifen perfekt ineinander. Das Ergebnis: eine skalierbare, agile und zukunftssichere Datenplattform, die Maßstäbe setzt.
Projekt auf einen Blick
Standort & Branche: Deutschland, Medien
Unternehmensgröße: Konzern
Projektdauer: 16 Monate
Projekttyp: Cloud-Migration
Technologien: AWS, Snowflake, Datavault Builder
50 %
Kostenreduktion pro Query durch gezielte Ressourcensteuerung in Snowflake und den Einsatz dedizierter Warehouses.
Ausgangssituation & Herausforderung
Um zukünftig mehr Standardtools einsetzen und die technischen Optionen der Cloud und insbesondere Snowflake nutzen zu können, entschied sich ProSiebenSat.1 für die Migration der bisherigen On-Prem-Umgebung in eine cloudbasierte Umgebung.
Die Schwierigkeit des Migrationsprojekts ergab sich unter anderem aus der Größe und der zentralen Wichtigkeit der BI-Landschaft: Über 80 Datenquellen laufen an dieser Stelle zusammen und münden in etwa 20 Datenprodukten, die von etlichen Fachabteilungen des Unternehmens genutzt werden. Die sieben Migrationsteams (zusammengesetzt aus etwa 80 Mitarbeitenden von ProSiebenSat.1, b.telligent und anderen externen Dienstleistern), die jeweils für bestimmte Datenprodukte verantwortlich waren, hatten dadurch neben dem engen Zeitplan zahlreiche Abhängigkeiten untereinander.
Hieraus ergab sich die zentrale Herausforderung des Migrationsprojekts: Die neue Entwicklungsumgebung musste in der Lage sein, den Teams ein schnelles, flexibles und paralleles Arbeiten zu ermöglichen.
Lösung
Toolauswahl
Im Rahmen des Umzugs in die cloudbasierte Umgebung wurden sämtliche Komponenten der BI-Wertschöpfungskette mit neuen Tools abgebildet:
Prozesse und Architektur
Die neue Cloud-Architektur besteht grundlegend aus einer Abstraktions-, einer Integrations- und einer Präsentationsschicht.
- Die Abstraktionsschicht extrahiert die neu gelieferten Quelldaten aus Databricks über externe Tabellen in Snowflake und speichert diese in einer Persistent Staging Area.
- Die Integrationsschicht stellt die bereinigten Daten in einem Raw Vault bereit und ist historisiert und versioniert. Für businessorientierte Interpretationen der Daten ist ebenfalls ein Business Vault vorhanden.
- Die Präsentationsschicht ist das User Interface für die Fachabteilungen. Hier werden Aggregationen nach Business-Sicht aus Raw Vault und Business Vault gezogen und in Data Marts bereitgestellt. Dieser Layer ist zugleich die Zugriffsschicht für die Reporting-Applikationen.
Trotz der daraus entstehenden Tool-Schnittstelle bei der Abstraktionsschicht entschied sich ProSiebenSat.1 für einen Multi-Vendor-Ansatz: Databricks für den Data Lake und Snowflake für das DWH.
Snowflake überzeugt als DWH-Datenbank mit wertvollen Features: Paralleles Beladen von Datenquellen und Produkt-ETL-Strecken und gleichzeitiges Deployment und Testing stellen dank „Transactional Control“ und „Massive Parallel Processing“ (MPP) kein Problem dar. Verbindungen zum Data Lake (via externe Tabellen) und zu verschiedenen Reporting-Tools (via bereitgestellte Konnektoren) lassen sich ebenfalls einfach implementieren. Der eindeutige „Star“ unter den Snowflake-Features ist für ProSiebenSat.1 das Zero-Copy-Cloning, das täglich für den Entwicklungsprozess zum Einsatz kommt (eine genauere Erläuterung zu diesem Feature folgt im nächsten Abschnitt).
Als zentrales DWH-Automatisierungstool wird Datavault Builder auf Snowflake verwendet. Mithilfe von in Airflow konfigurierten Prozessabfolgen (DAGs) erreicht ProSiebenSat.1 eine sehr fließende und effiziente Orchestrierung von der Extraktion aus Databricks bis zur Präsentation in den Data Marts.
CI/CD-Pipelines in Gitlab werden sowohl für Deployments als auch für tägliches Testing mit Soda genutzt. Die produzierten Logs aller Komponenten werden zentral mittels Datadog gesammelt und aufbereitet.
In einer ersten Projektphase wurde durch ein Early-Adopter-Team diese Architektur getestet und feinjustiert. Über einen sogenannten Hackathon haben danach alle übrigen Teams gleichzeitig begonnen, die Entwicklung in dieser Umgebung zu erproben, ohne dass es zu Engpässen oder Kollisionen kam. Diese Tool-Kombination und Prozessgestaltung hat sich für ProSiebenSat.1 als optimal erwiesen, um die Anforderungen an CI/CD, Code-Versionierung und Testing zu erfüllen.
Besonders hervorzuheben ist die Passung zwischen Datavault Builder und Snowflake: Die durch Datavault Builder erzeugten Metadaten werden neben den Business-Daten in Snowflake gespeichert, d. h., Datavault Builder verwendet kein eigenes Repository. Obwohl Snowflake eine abfrageoptimierte Datenbank ist, kann es mit den daraus resultierenden Mikro-Transaktionen (> 500 k Transaktionen pro Tag) gut umgehen. Die wahre Stärke dieser Tool-Kombination kommt während des Entwicklungsprozesses via Sandboxing zum Tragen. Sandboxing wird im folgenden Kapitel genauer erläutert.
Agiles Sandboxing mit Datavault Builder und Snowflake
Die Entwicklungsphilosophie von ProSiebenSat.1 fokussiert sich schon lange auf die Nutzung moderner Technologien und Prozesse: Entwicklung in Sandboxes mit konsequentem Scrum und CI/CD.
Während des Sandboxing-Prozesses wird eine AWS-Instanz erzeugt, die mit Datavault Builder und Airflow sowie einem eigenen Warehouse in Snowflake ausgestattet ist. Zusätzlich wird ein Feature Branch erzeugt. In Snowflake werden die Datenstände einer ausgewählten Umgebung gemeinsam mit den für Datavault Builder erforderlichen Metadaten kopiert. Dem spielt die Architektur des Datavault Builder, konsequent ohne eigenes Repository auszukommen, geradezu in die Hände.
Mit der Einführung von Snowflake kann nun dieser Kopiervorgang wesentlich effizienter umgesetzt werden. Ausschlaggebend hierfür ist das Feature Zero-Copy-Cloning. Dies erlaubt innerhalb kürzester Zeit die Erstellung exakter Kopien von Datenbanken ohne das Kopieren und redundante Speichern von Daten.
Die folgende Grafik veranschaulicht einen solchen Sandboxing- und Entwicklungsprozess. Die Umgebungen DEV, TEST und PROD sind gleichermaßen nach der im letzten Kapitel beschriebenen Architektur aufgebaut (Snowflake-Datenbank, Datavault-Builder-Instanz und Airflow-Instanz). Der Git Branch „master“ beinhaltet die Metadaten und den Code, auf dem die drei Umgebungen basieren. Mit Erstellung der Entwicklungsumgebung wird eine Sandbox-Instanz erzeugt und nach Wahl des Entwicklers mit den Daten aus einer der drei Umgebungen befüllt (in diesem Beispiel von PROD). Gleichzeitig wird ein Feature-Branch von „master“ erzeugt. Im Laufe der Entwicklungsphase werden die an der Sandbox vorgenommenen Änderungen in den Feature-Branch synchronisiert. Nach erfolgreicher Entwicklungsphase wird der Feature-Branch in den „master“ gemergt und triggert damit eine CI/CD-Pipeline, welche die Entwicklung nach DEV deployt. Entwickler können nach erfolgreichem Deployment auch nach TEST und anschließend PROD deployen.
Dieses Sandboxing-Konzept ermöglicht es den Entwicklern, auf einem exakten Abbild eines statischen Environments inklusive aller Daten zu arbeiten und so schnell neue Entwicklungen mit vorhandenen Daten zu testen. Dies verbessert die Effizienz des Entwicklungs- und Testprozesses, erhöht zusätzlich die Schlagzahl im Sinne des CI/CD und unterstützt eine agile Arbeitsweise mit Scrum.
Stimmen aus dem Projekt
Der Begriff „Cloudmigration“ wird diesem extrem ambitionierten Projekt nicht gerecht. Wir arbeiten jetzt cloudbasiert, haben aber auch unser gesamtes Tool- und Techset verändert und uns auf Basis eines ausgefeilten agilen Ansatzes organisatorisch neu aufgestellt – und das alles, während wir gleichzeitig noch unsere BI Produkte hier und da verbessert und dringende Kundenanliegen bearbeitet haben. Einer der wesentlichen Erfolgsfaktoren: b.telligent als Partner! Ihre Unterstützung war von operativer Implementierung bis hin zur strategischen Projektsteuerungsebene präsent; zielstrebig und kompetent haben sie maßgeblich zu diesem Projekterfolg beigetragen.
Margarethe Mayer
VP BI Products bei ProSiebenSat.1 Tech & Services GmbH
b.telligent Leistungen auf einen Blick
Cloud Set-up & Toolmigration
Aufbau einer vollständig neuen Cloud-Datenplattform mit Migration von Hadoop und Exasol hin zu modernen Cloud-Technologien wie Snowflake, Databricks und Datavault Builder.
Snowflake DWH-Implementierung
Einführung von Snowflake als zentrales Data Warehouse mit Zero-Copy-Cloning, parallelem Daten-Handling und dynamischer Ressourcensteuerung für bessere Performance und Kostenkontrolle.
Datavault Builder & Automatisierung
Nutzung des Datavault Builders für automatisierte DWH-Modellierung inklusive Historisierung, Versionierung und Metadatenmanagement ohne separates Repository.
CI/CD & Testing-Infrastruktur
Aufbau eines CI/CD-Workflows mit GitLab-Pipelines und Testing mit Soda zur Sicherstellung kontinuierlicher Qualität und Automatisierung der Deployments.
Agiles Sandboxing & Entwicklung
Etablierung eines Sandbox-Ansatzes zur parallelen und unabhängigen Entwicklung auf Kopien produktiver Datenumgebungen – unterstützt durch Snowflakes Zero-Copy-Cloning.
Projektsteuerung & Teamkoordination
Steuerung von sieben Migrationsteams mit ca. 80 Beteiligten unter enger Zeitvorgabe – inklusive Aufbau eines gemeinsamen Entwicklungs- und Architekturverständnisses.
.webp)
Ergebnisse & Erfolge
Agile Migration bei laufendem Betrieb: ProSiebenSat.1 migriert über 80 Datenquellen parallel zum Tagesgeschäft – dank klarer Struktur, agiler Methoden und starker Teamarbeit.
Moderne Cloud-Architektur: Snowflake und Datavault Builder bilden das Rückgrat der neuen BI-Plattform – leistungsstark, flexibel und perfekt orchestriert.
Effizienz & Kostenoptimierung: Über 50 % Kostenersparnis durch gezielte Ressourcennutzung und präzises Monitoring mit Query Tagging.
Ziel-Infrastruktur für die neue Datenplattform in der Cloud kurzfristig bereitzustellen. Die Kombination aus einem ausgereiften CI/CD-Prozess, wertvollen Snowflake-Features sowie der niederschwelligen Integration der übrigen Komponenten und Werkzeuge ermöglichte die Etablierung eines hochagilen und effizienten Entwicklungsprozesses. Damit zeigte sich besonders in der ersten Implementierungsphase, dass mehrere Produktteams weitgehend unabhängig und parallel mit der Migration ihrer Lösungen beginnen und gleichzeitig gegenseitig von den Erfahrungen mit der neuen Technologie und Arbeitsweise profitieren konnten.
Vor allem Snowflake als DWH-Datenbank und implizites Repository für den Datavault Builder konnte überzeugen, mit besonderem Augenmerk auf den hohen Anforderungen an Zuverlässigkeit, Leistungsfähigkeit und Verfügbarkeit, die durch diese Kombination zustande kommen. Die Verknüpfung von Rollenkonzept und Ressourcenbereitstellung in Snowflake ermöglicht ProSiebenSat.1 eine bessere Kostenkontrolle. Die von Snowflake bereitgestellte Ressourcenkontrolle wurde vor kurzem auch im Datavault Builder nutzbar gemacht: Pro Job ist ein Warehouse auswählbar. Dies optimiert sowohl Performanz als auch Kosten deutlich, wie wir in einer Untersuchung feststellen konnten.
Dazu berechneten wir die Kosten pro Anfrage (Query) und ordneten diese den jeweiligen Zielobjekten zu – für die Ladestrecken sind das vor allem DELETE, INSERT und MERGE Statements. Unsere Analyse erstreckt sich über vier Wochen vor und vier Wochen nach der Umstellung von einem einzelnen Warehouse auf dedizierte Warehouses mit unterschiedlichen Größen. Berücksichtigt werden nur Objekte, die in beiden Zeiträumen jeweils an mindestens 75 % der Tage beladen wurden. Das Ergebnis zeigt eine Kostenreduktion von über 50 % und verdeutlicht, wie wichtig passende Warehouses für jeweilige Ladestrecken sind. Durch die ebenfalls in DVB integrierten Query Tags können wir exakt ermitteln, welche Query von welchem Job ausgeführt wurde und ob das Warehouse passend dafür ist – oder nicht. Die intensive Zusammenarbeit zwischen ProSiebenSat.1 und b.telligent und die Partnerschaft mit Snowflake und Datavault Builder werden neben dieser Verbesserung noch weitere nützliche Features und eine tiefere Integration der beiden Komponenten hervorbringen.
Dank der Stabilität und Robustheit der eingesetzten Komponenten kam es zu keiner Zeit zu größeren Ausfällen oder Entwicklungsstopps. Dank der lebendigen Unternehmenskultur von ProSiebenSat.1, disziplinierter Entwicklungsphilosophie und der Auswahl moderner Tools mit umfangreicher Dokumentation, exzellentem Support und aktivem Partnermanagement ist aus diesem ambitionierten Migrationsvorhaben eine zukunftsfähige BI-Plattform entstanden.
Technologien im Einsatz
Amazon Web Services (AWS)
Als Advanced Partner von AWS unterstützt b.telligent seine Kunden bei der Migration und Einrichtung von Datenplattformen in der AWS-Cloud. Mehr Infos hier!
Datavault Builder
Die effiziente visuelle Datenintegrationslösung von Datavault Builder setzt auf Standardisierung und Zusammenarbeit zwischen Geschäfts- und IT-Mitarbeitenden. So kannst Du die Produktivität steigern und von der schnellstmöglichen Time-to-Insights profitieren, bei voller Auditierbarkeit und Governance ohne zusätzlichen Aufwand.
Snowflake
b.telligent baut mit Snowflake hochperformante und skalierbare Analytics-Lösungen in der Cloud. Erfahre jetzt mehr zu unserer Partnerschaft!
Die ganze Story zum Download
Du möchtest unsere Success Story als druckbaren Flyer? Für Dich, oder um Deinem Team das Projekt vorstellen zu können?
Dann lade Dir einfach hier die ganze Erfolgsstory als pdf herunter.
Viel Spaß beim Lesen!
Inspiriert?
Du findest unsere Success Stories spannend? Du hast eine ähnliche Herausforderung rund um die Themen Data, Analytics & AI und wünschst Dir professionelle Unterstützung? Dann melde Dich gern bei uns. In einem unverbindlichen Beratungsgespräch können wir schnell klären, wie wir Dir am besten helfen können.
