In modernen Organisationen gewinnt die Idee der Datendemokratisierung zunehmend an Bedeutung. Eine offene Lakehouse-Architektur ist das wegweisende Konzept, welches den Zugang zu Daten für alle ermöglicht und gleichzeitig leistungsstarke Analysen und Verarbeitungsfunktionen bietet. Diese innovative Herangehensweise überwindet die Grenzen zwischen Data Warehouses und Data Lakes und schafft eine ganzheitliche Plattform für datengetriebene Entscheidungen und Datenprodukte.
Technisch ermöglichen modernen Lakehouse-Architekturen das, indem sie vier Bausteine – unabhängig voneinander konfigurier- und skalierbar – miteinander verbinden. Dieser Aspekt, sowie einige weitere, machen aus einer Datenplattform ein offenes Lakehouse. Was dabei zu beachten ist, erfahren Sie im Folgenden.
Unterteilbarkeit in funktionale Einheiten
Die Unterteilung in funktionale Einheiten ist aus mehreren Gründen ein fundamentaler Baustein für offene Lakehouses. Erstens ermöglicht sie Flexibilität, indem sie den Einsatz des optimalen Werkzeugs für jede spezifische Aufgabe ermöglicht. Zweitens fördert dieser modulare Ansatz die Effizienz, indem zentrale Kernkomponenten unabhängige Anwendungsfälle bedienen können. So können Fachbereiche in Organisationsformen wie dem Data Mesh in die Lage versetzt werden, eigene individuelle Datenprodukte auf Grundlage eines zentralen Kerns zu implementieren. Drittens trägt die Unterteilung in unabhängige funktionale Einheiten zur Skalierbarkeit bei, indem einzelne Komponenten unabhängig voneinander skaliert werden können, während sie gleichzeitig die Dezentralisierung der Verantwortung fördert und die Datenkompetenz über verschiedene Teams verteilt.
Offene Schnittstellen
Offene Schnittstellen sind essenzieller Bestandteil eines Open Lakehouse. Sie fördern die Demokratisierung des Datenzugriffs, indem sie Zugriff auf den darunterliegenden Cloud Storage und das sichere Teilen von Tabellen mit internen und externen Benutzern ermöglichen. Darüber hinaus öffnen sie das System für verschiedenste Use Cases, da der Zugriff auf Tabellenebene über beliebige, anbieterunabhängige Tools erfolgen kann.
Datenkataloge stellen eine wichtige Erweiterung zu offenen Schnittstellen dar, da sie die Nutzung und Verwaltung von Daten auf mehreren Ebenen erleichtern. Erstens ermöglichen sie die Durchsuchbarkeit und Nutzung von Daten über die eigene Domäne hinaus, indem sie fachliche Metadaten bereitstellen, die auch nicht-technischen Benutzern einen Einblick in die Datenlandschaft geben. Zweitens unterstützen sie die Governance der eigenen Daten, indem sie technische Metadaten liefern, die Informationen zur Qualität und Struktur der Daten bieten, sowie operative Metadaten, die Einblicke in Laufzeit, Status von Prozessen sowie das Monitoring und Auditing der Datenplattform ermöglichen. Durch diese umfassenden Metadaten können Daten effektiver verwaltet, durchsucht und genutzt werden.
Offene Daten- und Tabellenformate
Offene Daten- und Tabellenformate spielen eine entscheidende Rolle in Open Lakehouses. Sie ermöglichen die Darstellung von Tabellen als Sammlung individuell lesbarer Dateien im Cloud Storage, was einen flexiblen und skalierbaren Zugriff auf Daten auf allen Ebenen durch beliebige, anbieterunabhängige Tools ermöglicht. Durch die Offenlegung der Datenformate wird nicht nur der Vendor-Lock reduziert, sondern auch die Standardisierung und Innovation in der Datenverarbeitung gefördert.
Einfachheit, Betreibbarkeit und Automatisierung
Betreibbarkeit und Automatisierung spielen eine entscheidende Rolle für Open Lakehouses, da sie eine effiziente Verwaltung und Skalierung der Dateninfrastruktur ermöglichen. Durch Infrastructure-as-Code wird eine vollständige Versionskontrolle der erfassten Komponenten gewährleistet und erhöhte Transparenz gewonnen. Die Automatisierung des Deployments, inklusive grafischer Darstellung, ermöglicht ein effizientes Tracking von Änderungen, Qualitätssicherung und verbessert die Zusammenarbeit zwischen Entwicklern und Operations-Teams.
Der Aspekt der Einfachheit zahlt ebenfalls auf eine verbesserte Zusammenarbeit zwischen verschiedenen Teams und die Öffnung für IT-ferne Anwendergruppen ein. Einfache Tools und Komponenten sind somit die letzte Meile für die Öffnung der Datenplattform innerhalb und außerhalb einer Organisation.
Abgrenzung:
Das bedeutet Open Lakehouse nicht
Was ein Open Lakehouse ausmacht, wird durch die genannten Punkte klar. Es geht um Offenheit im Hinblick auf die Zugänglichkeit der Plattform aus verschiedenen Gesichtspunkten. An dieser Stelle ist es entscheidend, klar abzugrenzen, was ein Open Lakehouse eben nicht zwingend sein muss, und damit einen weit verbreiteten Irrtum aufzuklären. Ein Open Lakehouse ist nicht zwingend an die Nutzung von ausschließlich Open-Source-Technologien oder selbst gehosteter Infrastruktur gebunden, sondern kann auch auf Platform-as-a-Service (PaaS) oder sogar Software-as-a-Service (SaaS) Lösungen zurückgreifen, um Effizienz und Skalierbarkeit zu gewährleisten. In der Praxis ist das sogar in vielen Fällen empfehlenswert, um den Aspekt der Offenheit mit dem der Einfachheit in Einklang zu bringen. Der Kern liegt in der Flexibilität und Effektivität der Datenverarbeitung und -analyse, unabhängig von der zugrunde liegenden technologischen Implementierung.
