Das Projekt: Modernisierung unseres Enterprise Data Warehouse
Im Projekt „Lift & Shift - Modernisierung des Enterprise Data Warehouse (DWH) hin zu einer cloudbasierten Analytics-Infrastruktur“ überführen wir unser über Jahre bzw. Jahrzehnte gewachsenes Enterprise Data Warehouse in eine moderne, auf Cloud-Technologien basierte Datenarchitektur. Das Projekt umfasst mehrere Maßnahmen, die alle darauf abzielen, unser Data Warehouse zukunftsfähig sowie gleichzeitig effizienter und leistungsfähiger zu gestalten.
Ein wichtiger Aspekt dieses Projekts ist die Implementierung eines Data Lakehouse.
Data Lakehouse: eine moderne Datenarchitektur, die speziell für flexible und datengetriebene Anwendungen entwickelt wurde. Diese Lösung vereint die Vorteile von Data Warehousing sowie Data Lake-Technologien.
Sie ermöglicht es Unternehmen, strukturierte und unstrukturierte Daten konsolidiert abzulegen und gleichzeitig fortschrittlichere Analysen durchzuführen.
Bisher haben wir diese Lösung vorrangig für near-realtime Anforderungen, u. a. im Umfeld der OCC-Daten (Omnichannel Checkout) und für die Integration externer Datenquellen umgesetzt.
Was braucht es für den Transfer in die Cloud?
Der Aufbau der cloudbasierten Datenarchitektur umfasst die Migration der bisherigen onpremise-basierten Datenhaltung in die Snowflake Data Cloud.
Weiterhin stellen wir die Prozesse des Data Loads auf Cloud-native Technologien um. Dazu führen wir Matillion als neues, cloudbasiertes ETL-Tool (Extrahieren, Transformieren und Laden) ein, um die Automatisierung von Datenversorgungsprozessen möglich zu machen.
Mit der cloudbasierten Architektur erreichen wir einen höheren Grad der Automatisierung, mehr Sicherheit und eine höhere Verfügbarkeit. Zusätzlich erhalten wir mehr Flexibilität beim Skalieren und einen intuitiveren Zugang für die Bereitstellung von Daten. Entscheidend ist zudem, dass wir eine kürzere Time-to-Market erreichen und damit schneller auf neue und geänderte Anforderungen reagieren können.
Unser Projekt beinhaltet auch das Design von Schnittstellen zu Data Science-Anwendungen basierend auf Google- und Snowflake-Technologien. Diese Integration wird sicherstellen, dass das neue System nahtlos mit fortschrittlichen und datenbasierten Anwendungen zusammenarbeiten und zukunftsweisende Technologien zur Unterstützung von Analysen nutzen kann.
Wo müssen wir uns Herausforderungen stellen?
Um einen erfolgreichen Projektverlauf zu erreichen, werden alle Aktivitäten hinsichtlich Abhängigkeiten geprüft und dann agil mit den Kunden bzw. Datenownern umgesetzt. Zudem gilt es, ein gemischtes Team aus internen und externen Entwicklern, die sich mit dem Aufbau der konzipierten Zielarchitektur in der neuen Welt beschäftigen, effektiv zu steuern.
Die wesentlichen Herausforderungen des Projekts umfassen das Überführen des kompletten Enterprise Data Warehouse-Datenmodells - inklusive der vollständigen Datenhistorie - nach Snowflake in die Cloud, die Sicherstellung der Datenintegrität sowie die Überführung von 14 Mandanten in einen konsolidierten Mandanten.
Zudem müssen neue Softwares wie Matillion, Liquibase, Git, Snowflake und weitere eingeführt werden, um eine vollautomatisierte CI/CD-Pipeline in cloud-nativen Prozessen und Systemen zu designen.
CI = continuous integration
CD = continuous developement
Angesichts des hohen Tempos der Neuerungen in Cloud-Plattformen, sind wir stets gefordert, uns mit innovativen Entwicklungen und Neuerungen auseinanderzusetzen und im Gleichschritt IT-Security und Governance auf den aktuellen Stand zu bringen. Hierbei finden unter anderem neue technische Methoden, wie Infrastructure as Code und der Aufbau von Test- bzw. Sandbox-Systemen Anwendung.