Neue Einblicke und Zukunftssicherheit mit der AWS Data Platform
Zusammenfassung
Die foodforplanet GmbH & Co. KG, eine unternehmenseigene E-Commerce-Agentur von Erbacher – the food family, wurde mit dem Aufbau einer modernen Cloud-Daten-Plattform für die gesamte Erbacher Gruppe beauftragt. Nachdem die Entscheidung für AWS als bevorzugter Cloud-Anbieter gefallen war, wurde b.telligent als AWS Advanced Consulting Partner ausgewählt, um die nötige Infrastruktur aufzubauen und den ersten Anwendungsfall zu implementieren. Die Reise begann mit der Integration verschiedener E-Commerce-Datenquellen in die Datenplattform. So erhält foodforplanet einen tieferen Einblick in ihre Online-Aktivitäten und es wird ein Mehrwert geschaffen, indem die daraus resultierenden Erkenntnisse in die Online-Shops einfließen.
Erbacher – the food family und die foodforplanet GmbH & Co. KG
Erbacher – the food family stellt im bayrischen Kleinheubach seit 1941 Futtermittel, Tiernahrung sowie Cerealien-Lebensmittel für den Menschen her. Aktuell hat die Gruppe über 800 Mitarbeiter in drei Ländern. Zur Unternehmensgruppe gehören u. a. Josera Agrar, Hersteller von Rinder- und Schweinefutter, Josera Petfood, Hersteller von Hunde-, Katzen- und Pferdefutter, und Farm Champs als Dienstleistungsunternehmen, das Viehhalter dabei unterstützt, die Gesundheit und Produktivität ihrer Tiere zu optimieren. foodforplanet betreibt mehrere internationale Online-Shops für die Tiernahrungsmarken der Gruppe, Josera und Green Petfood. Die foodforplanet-Familie will ein nachhaltiges Unternehmen sein. Dieses Ziel wird durch die Entwicklung neuer und innovativer umweltfreundlicher Produkte und durch das Streben nach klimaneutralen Prozessen umgesetzt.
b.telligent – ein zuverlässiger Partner für die Datenplattform
Auf dem Weg zum Aufbau einer Datenplattform auf AWS hat sich foodforplanet für b.telligent entschieden, ein unabhängiges Beratungsunternehmen mit Sitz in Deutschland und AWS Advanced Consulting Partner, um mit der Implementierung der Datenplattform zu beginnen. b.telligent ist spezialisiert auf BI, CRM, DWH, Big Data, Data Science und Cloud-Technologien und wurde damit beauftragt, die Architektur der Datenplattform auf AWS zu entwerfen und die ersten Anwendungsfälle zu implementieren. Im Vorfeld dieser Entscheidung wurde ein erfolgreiches Proof-of-Concept-Projekt durchgeführt, das den Aufbau einer Datenplattform in der AWS-Cloud demonstrierte.
Die Notwendigkeit einer Datenplattform
Als traditionelles mittelständisches Produktionsunternehmen hat die food family erkannt, dass Nachhaltigkeit und Digitalisierung der Schlüssel sind, um die Zukunft des Unternehmens für die kommenden Jahre zu sichern. Nach der Etablierung eines erfolgreichen Online-Geschäfts bestand der nächste Schritt darin, ihre Datenverarbeitungsfähigkeiten auf die nächste Stufe zu heben und sich auf die neuen und innovativen Möglichkeiten vorzubereiten, die aus der Datennutzung erwachsen. Als Basis hierfür wurde eine moderne Datenplattform benötigt, die flexibel genug ist, um den Anforderungen der verschiedenen Unternehmen und Abteilungen der Gruppe gerecht zu werden. Diese Datenplattform muss den wachsenden Bedarf an Speicherung und Verarbeitung von Daten unterstützen und eine skalierbare Lösung bieten, die Anwendungsfälle ermöglicht, die vom Online-Geschäft bis hin zur Umsetzung von IoT- und Industrie 4.0-Initiativen reichen, die die Basis für eine moderne Produktion bilden.
Entscheidung für den Aufbau einer modernen Datenplattform auf Amazon Web Services
foodforplanet, die diese Initiative für die gesamte Gruppe leitet, hat sich aufgrund der Flexibilität und Offenheit der Cloud-Services für AWS entschieden. AWS bietet eine Vielzahl von Möglichkeiten zur Implementierung von Daten- und Analyse-Anwendungsfällen, die sich nach dem Plug-and-Play-Prinzip integrieren lassen und hauptsächlich in einem Pay-for-Use-Modell bepreist werden. Eine moderne Datenplattform muss zum Beispiel skalierbare Datenspeicher unterstützen, die verschiedene Nutzungsszenarien unterstützen. Mit der AWS Lake House-Architektur wird ein Data Lake mit Services wie Amazon S3, AWS Glue und AWS Lake Formation aufgebaut, um einen kostengünstigen Speicher praktisch ohne Kapazitätsbegrenzung zu schaffen. Ergänzt wird der Data Lake durch den Cloud-Data-Warehouse-Service Amazon Redshift, der sich mithilfe von Redshift Spectrum nahtlos in den Data Lake integriert und einen leistungsstarken SQL-basierten Zugriff auf die kuratierten und aufbereiteten Daten bietet, die für die Anwendung durch Endnutzer bereitstehen.
Implementierung des ersten Anwendungsfalls
Als ersten Anwendungsfall zum Aufbau ihrer Datenplattform wählte foodforplanet die Integration der verschiedenen Systeme und Dienstleister (Webshop, Tracking und Online-Marketing) ihres Online-Geschäfts.
Ein Team aus b.telligent-Beratern hat zunächst in einer 5-monatigen Projektphase die Infrastruktur aufgebaut und den ersten Anwendungsfall implementiert. Dabei nutzten sie das AWS Cloud Development Kit (AWS CDK), um die Komponenten der Datenplattform als Code zu definieren und um eine ähnliche Infrastruktur in mehreren AWS-Konten bereitstellen zu können.
Die ursprüngliche Architektur der Datenplattform besteht aus einem in AWS S3 erstellten Data Lake, der AWS Lake Formation und den AWS Glue-Datenkatalog zum Verwalten der Metadaten / des Zugriffs verwendet, sowie AWS Glue ETL für die Datenverarbeitung im Data Lake. Der Dateneingang wurde mithilfe benutzerdefinierter Konnektoren in AWS Lambda, AWS Glue und Meltano realisiert, einer Open-Source-Lösung zur Ausführung von Datenpipelines, die auf einem System aus leicht verfügbaren Konnektoren und Datenladern basiert. Amazon Redshift wurde als Service für das Data Warehouse gewählt, mit dbt als SQL-basiertem, DWH-internem Transformations-Framework. dbt ist ebenfalls ein Open-Source-Projekt, mit dem Entwickler Transformationen in einfachen SQL-Select-Anweisungen erstellen können, während sich das Framework um die anderen Komplexitäten der Verwaltung zugrundeliegender Datenbankobjekte und Befehle kümmert. Die Architektur umfasst zudem einige zusätzliche Dienste, darunter ein API-Gateway für den Programmierzugriff, einen Yellowfin BI-Server, der auf einer EC2-Instanz läuft und von einer RDS-Datenbank für seine Metadaten unterstützt wird, um Berichte und Dashboards anzubieten, sowie die CloudWatch / CloudTrail-Dienste zur Überwachung und Protokollierung.
Der Vorteil des ersten Anwendungsfalls
Durch die Einrichtung der Cloud-Infrastruktur und die Integration der Datenquellen in ein einzelnes DWH-Datenmodell innerhalb der Datenplattform konnte foodforplanet das Reporting für ihre Online-Aktivitäten rationalisieren und wird fortan nur noch eine Quelle für weitere Analysen zur Verfügung haben. Alle Daten ohne langwierige manuelle Vorverarbeitung in einer BI-Lösung zur Verfügung zu haben, bietet den Unternehmensanwendern die Möglichkeit, täglich mit den vorhandenen Daten zu arbeiten und deshalb informiertere Entscheidungen zu treffen. Dies führt zu Kosteneinsparungen bei der Datenaufbereitung und zu einem besseren Verständnis der unternehmensinternen Zusammenhänge.
Die Datenplattform wird foodforplanet auch in die Lage versetzen, die gewonnenen Erkenntnisse zu nutzen, um ihren Kunden durch Personalisierung der Webshops die richtigen Angebote zu machen. Eine Erweiterung der Produktempfehlungen durch Echtzeitintegration von Daten aus dem Data Warehouse und Ergebnissen der erweiterten Analysefunktionen ist nun möglich.
Ausweiten der Datenplattform
Für Erbacher – the food family ist die beschriebene Lösung erst der Anfang der Reise hin zu den Möglichkeiten von Cloud Data mit AWS. Bald wird die Plattform nicht nur foodforplanet, sondern auch anderen Unternehmensteilen zur Verfügung stehen. Anwendungsfälle z.B. aus dem Produktionsbereich wie die vorausschauende Wartung von Produktionslinien, Bilderkennung in der Datenqualitätskontrolle oder Logik-Anwendungsfälle werden auf dem Fundament aufbauen, das mit der ersten Iteration zum Aufbau einer wirklich skalierbaren und flexiblen Datenplattform auf AWS gelegt wurde.