Data Mesh und Lakehouse im perfekten Zusammenspiel
Eine globale Plattform für Data & Analytics hilft bei der operativen und strategischen Steuerung des Konzerns. Für den Bereich Danone D-A-CH hat QUNIS eine Sell-Out-Applikation realisiert, die sich nahtlos in die zentrale Datenplattform einfügt.
Data Mesh stellt die Daten als Wertschöpfungsfaktor in den Mittelpunkt
Daten sollen als „Datenprodukte“ prozess- und systemübergreifend im Unternehmen zur Verfügung gestellt werden. Die Grundidee besteht darin, Daten als Asset für die Organisation zu begreifen und Business Usern hochwertige Datenprodukte für ihre Zwecke zugänglich zu machen, damit sie diese optimal nutzen können. Diesen Ansatz verfolgt auch die Self-Service BI bereits seit Jahren. Neu bei Data Mesh ist allerdings die konsequente Delegation der Verantwortung und Kompetenzen in die dezentrale Organisation:
- Entwicklungsteams erhalten die Verantwortung für die Entwicklung und den Betrieb von Datenprodukten ihrer fachlichen Domäne.
- Die Verlagerung in fachlich geschnittenen Domänenteams löst das Engpass-Problem eines einzelnen zentralen Analytic-Teams.
- Zugleich vervielfacht sie die Entwicklungsressourcen, erhöht damit das mögliche Umsetzungstempo neuer Use Cases und gewährleistet darüber hinaus die geforderte fachliche Expertise in der jeweiligen Domäne.
Die Dateninfrastruktur für die Domänenteams wird in Form einer Datenplattform nach dem Self-Service-Gedanken bereitgestellt. Im Gegensatz zur klassischen Data-Warehouse-Architektur mit zentralisierten Datenströmen handelt es sich hier um eine domänenorientierte dezentrale Architektur für analytische Daten.
Die Definition von Data Mesh zielt eher auf die Governance und Organisation des datengetriebenen Unternehmens ab als auf technologische Aspekte. Es gibt aber eine Kernarchitektur, die sich zur Umsetzung von Data Mesh besonders eignet, das Data Lakehouse.
Steffen Vierkorn
Gründer und Geschäftsführer
QUNIS
Data Lakehouse unterstützt Data Mesh
Das Data Lakehouse unterstützt die dezentrale Arbeit mit Datenprodukten. Durch die Trennung von Storage und Computing bietet es eine hohe Flexibilität zur Einrichtung verschiedener Domänen mit jeweils eigenen Datenprodukten auf einem gemeinsamen Datenlayer. Ein heterogener Technologie-Stack greift dabei über Open Table Format auf Daten aus verschiedenen Quellen zu und bereitet sie für Use Cases wie BI, ML, Data Science oder Data Engineering in diversen Domänen auf.
Unter Berücksichtigung einer stringenten Access Control lassen sich die Datenquellen auf diese Weise verschiedenen Teams für ihre Auswertungen zugänglich machen. Datensilos werden vermieden und domänenübergreifende Datenabfragen unterstützt. Das verteilte Computing ermöglicht es zudem, unvorhergesehene Lastspitzen aus anderen Domänen abzufangen.
Reifegrad der dezentralen Governance als Erfolgsfaktor
Gemäß Definition basiert Data Mesh auf den vier Grundprinzipien Domain Ownership, Data Products, Self-Service und Federated Governance. Die verteilte Governance ist dabei der wesentliche Erfolgsfaktor für die Etablierung von Data Mesh. Im Rahmen der Governance legen die beteiligten Teams gemeinsame Standards und Regeln fest, um ihre Zusammenarbeit, die Harmonisierung der Daten und Sicherheitsanforderungen zu gewährleisten.
Aufgaben wie das Qualitätsmanagement und die Klassifikation von Daten, Security, Schnittstellen-Verwaltung oder die Definition und Verwaltung von Datenprodukten sind über die gesamte Organisation verteilt. Die Verantwortlichkeiten müssen hier klar geregelt sein.
QUNIS hat dafür ein dezidiertes Rollenmodell entwickelt, das sich seit Jahren in Data & Analytics-Projekten bewährt.
- Das Rollenmodell legt unter anderem das Ownership für Domänen, Datenprodukte oder Datenobjekte wie „Kunden“, „Artikel“ oder „Partner“ fest.
- Datenexperten wie Data Owner, Data Steward und das Data Governance Board arbeiten dabei mit Funktionen eines BI- oder erweiterten Analytics-Rollenmodells zusammen.
- Dazu gehören zum Beispiel die Rollen End User, Power User, Solution Architect, Data Engineer mit DataOps, Data Architect sowie Data Scientist mit MLOps.
Über das Rollenmodell kann der Data-Mesh-Gedanke bis hin zu den DevOps etabliert werden. Die Verankerung und Durchsetzung der Rollen und einer starken Governance sind die Voraussetzung dafür, dass die verschiedenen Teams orchestriert zusammenarbeiten, qualitativ hochwertige Datenprodukte geliefert werden und der weitgehende Self-Service im Rahmen zuverlässiger Standards funktioniert.
Die Umsetzung von Data Mesh steht und fällt mit dem Reifegrad dieser Datenorganisation. Diese Organisation ist funktionsübergreifend und deckt sich damit nicht unbedingt mit der üblichen Einteilung in Geschäfts- oder Fachbereichen. Daher ist die Mitwirkung des Management Boards bei der Kontrolle und Etablierung der datengesteuerten Organisation und Architektur unbedingt notwendig.
Die Umsetzung von Data Mesh steht und fällt mit dem Reifegrad Ihrer Datenorganisation. Ohne das Mitwirken des Management Boards bei der Kontrolle und Etablierung der datengesteuerten Organisation und Architektur wird es nicht funktionieren.
Steffen Vierkorn
Gründer und Geschäftsführer
QUNIS
Data Mesh setzt sich durch
Unternehmen verstehen, dass Daten immer mehr zur Wertschöpfung beitragen. Die kluge Nutzung und Auswertung der Daten bringen den entscheidenden Wettbewerbsvorteil. Für größere Konzerne und auch für viele mittelständische Unternehmen ist erweiterte Analytics daher inzwischen selbstverständlich. Data Mesh bietet die Möglichkeit, sich in diesem Bereich agiler aufzustellen.
QUNIS sieht daher derzeit eine große Dynamik und viel Kraft am Markt, das verteilte Organisations- und Architekturkonzept im Unternehmen umzusetzen. In den Projekten zeigt sich, dass das Data Lakehouse hierbei eine große Hilfe ist, weil die Technologie das flexible Splitten von Datenräumen erlaubt und die Verteilung von Verantwortung für Datenprodukte unterstützt.
Holen Sie sich die QUNIS Checkliste und finden Sie heraus wie reif Ihr Unternehmen für Data Mesh ist.
QUNIS Checkliste
- Check des organisatorischen Umfelds
- Check des kulturellen Umfelds
- Check technologischer Voraussetzungen
- Selbsteinordnung Ihres Unternehmens
Das könnte Ihnen auch gefallen
Wenn Sprache zur Schnittstelle für Daten wird, muss sich die Architektur verändern
Datensouveränität entsteht nicht zufällig, sie muss bewusst gestaltet und gesteuert werden
Datenprodukte & Datenmarktplätze: Wer Daten nicht wirtschaftlich nutzt, verschenkt Potenzial
Wissen vertiefen
Grundlagen kompakt erklärt
Data & AI Guides: Begriffe, Konzepte und Zusammenhänge
Von Data Strategy und Data Governance über moderne Datenplattformen bis zu Business Intelligence, Analytics und AI: Die QUNIS Guides vermitteln fundiertes Wissen zu zentralen Data & AI-Themen und zeigen, welche Bedeutung sie für Unternehmen haben, wie sie in der Praxis zusammenspielen und welche Fragen bei der Umsetzung zu klären sind.
AI in Analytics: Entscheidungen schneller und fundierter treffen
AI erweitert Analytics um neue Möglichkeiten für Automatisierung, Prognosen und Entscheidungsunterstützung. Wer diese Möglichkeiten wirksam nutzen will, braucht belastbare Daten, relevante Use Cases sowie klare Strukturen und Verantwortlichkeiten. QUNIS begleitet Sie – von der Identifikation und Priorisierung geeigneter Use Cases über die Umsetzung bis zur skalierbaren Verankerung von AI in Ihrer Analytics-Landschaft und Organisation.
Analytics-Beratung: Erkenntnisse, die Entscheidungen verbessern
Eine Analytics-Beratung hilft Ihnen, aus Ihren Daten verlässliche Prognosen und Handlungsempfehlungen abzuleiten. Mit Advanced Analytics und Predictive Modeling erkennen Sie Muster und Zusammenhänge, optimieren Prozesse und steuern proaktiv. QUNIS begleitet Sie von der Fragestellung über die Modellierung bis zur Integration in Ihre Abläufe und zur Schulung Ihrer Teams.
BI-Beratung: Einheitliche Zahlen für Ihr ganzes Unternehmen
Eine BI-Beratung hilft, Daten aus isolierten Systemen in eine einheitliche Infrastruktur zu bringen und damit eine verlässliche Basis für Reporting, Analyse und Unternehmenssteuerung zu schaffen. Alle Bereiche arbeiten mit einheitlichen Kennzahlen, gewinnen mehr Transparenz und erhalten schneller Zugang zu relevanten Informationen. QUNIS analysiert Ihre IT-Landschaft, entwickelt gemeinsam mit Ihnen die passende Architektur und befähigt Ihre Teams. Herstellerunabhängig, von der Strategie über die Umsetzung bis zu Enablement und Betrieb.
Business Intelligence: Klare Zahlen für fundierte Entscheidungen
Business Intelligence schafft eine einheitliche und belastbare Faktenbasis für fundierte Entscheidungen und eine wirksame Unternehmenssteuerung. Moderne BI geht dabei über Reports und Dashboards hinaus: Sie verbindet Analyse und Planung mit Self Service und nutzt AI für neue Möglichkeiten der Entscheidungsunterstützung. QUNIS begleitet Sie von der Anforderungsanalyse bis zum Betrieb, technologisch unabhängig und passend zu Ihren Rahmenbedingungen.
Data & AI-Plattformen: Das Fundament für digitale Prozesse, Analytics und AI
Eine Data & AI-Plattform führt Daten aus operativen Systemen, IoT-Anwendungen und externen Quellen zusammen und schafft eine gemeinsame Grundlage für digitale Prozesse und Anwendungen, Reporting und Analytics sowie Machine Learning, GenAI und Agentic AI. QUNIS begleitet Sie von der Konzeption und Architektur über die Technologieauswahl bis zu Implementierung, Betrieb und Enablement, herstellerunabhängig und mit Sicherheit und Governance von Anfang an.
Data & Analytics: Entscheidungen auf Basis valider Daten
Data & Analytics verbindet Controlling, IT und operatives Business auf einer verlässlichen Datenbasis. Von automatisiertem Reporting bis zu prädiktiven Analysen erkennen Sie Trends früh und steuern Ihr Unternehmen transparent. QUNIS begleitet Sie von der Bestandsaufnahme über die Toolauswahl bis zum Betrieb.
Data Catalog: Der Schlüssel zur effektiven Datennutzung
Ein Data Catalog ist das zentrale Metadaten-Verzeichnis Ihres Unternehmens. Er schafft Transparenz über vorhandene Daten, ihre Bedeutung, Herkunft, Qualität und Verantwortlichkeiten, macht sie auffindbar und nutzbar und ist damit eine wesentliche Voraussetzung für effizientes Data Management, Data Governance und das Arbeiten mit Datenprodukten. QUNIS begleitet Sie von der Konzeption und Tool-Auswahl über die Implementierung bis zur Verankerung in Ihrer Organisation.
Data Governance: Klare Strukturen für Ihre Unternehmensdaten
Data Governance schafft verbindliche Regeln für Qualität, Sicherheit und Nutzung Ihrer Unternehmensdaten. Mittelständische Unternehmen profitieren von höherer Datenqualität, geringeren Compliance-Risiken und weniger manuellem Aufwand. Wer Daten und AI wirksam nutzen will, braucht dafür klare Governance-Strukturen. QUNIS begleitet Sie von der Konzeption über die Implementierung bis zur Verankerung in Ihrer Unternehmenskultur und Organisation.
Data Lakehouse: Die Evolution der modernen Datenarchitektur
Lange Zeit mussten Unternehmen zwischen der strukturierten Performance eines Data Warehouse und der flexiblen Skalierbarkeit eines Data Lake wählen. Das Data Lakehouse vereint die Stärken beider Ansätze in einer gemeinsamen Architektur. Es ermöglicht die flexible Speicherung großer Mengen strukturierter, semi-strukturierter und unstrukturierter Daten bei gleichzeitig hoher Transaktionssicherheit und schnellen Abfragegeschwindigkeiten. So entsteht eine skalierbare Grundlage für unterschiedliche analytische Anforderungen – von Business Intelligence und Reporting über Analytics und Data Science bis zu IoT und AI.
Data Management: Das Fundament moderner Geschäftsentscheidungen
Unternehmen stehen heute vor der Herausforderung, riesige Datenmengen aus unterschiedlichsten Quellen effizient zu verwalten und nutzbar zu machen. Gewachsene Systemlandschaften und uneinheitliche Prozesse führen häufig zu Datensilos, redundanten Informationen und inkonsistenten Datenbeständen. Eine durchdachte Datenstrategie schafft die strategische Ausrichtung, professionelles Data Management setzt sie im Umgang mit den Daten um: Es sorgt für eine einheitliche Datenbasis, automatisiert wiederkehrende Prozesse und stellt sicher, dass Fachbereiche jederzeit auf aktuelle, verlässliche Informationen zugreifen können. Gleichzeitig schafft es die Grundlage für Analytics, AI-Anwendungen und datengetriebene Geschäftsmodelle.
Data Marketplace: Der zentrale Marktplatz für unternehmensweite Informationen
Ein Data Marketplace macht Datenprodukte wie Informationen, Modelle oder datenbasierte Services über eine zentrale Plattform unternehmensweit auffindbar, abonnierbar und sicher nutzbar. Das reduziert doppelte Schnittstellenarbeit und beschleunigt Innovationsprozesse immens. QUNIS begleitet Sie von der Konzeption bis zur Verankerung im Arbeitsalltag.
Data Mesh: Der Paradigmenwechsel im modernen Datenmanagement
Ein Data Mesh ist ein organisatorisches Prinzip, das die Verantwortung für Daten dezentral in die Fachdomänen verlagert und Daten als eigenständige Produkte etabliert. Das erhöht die Agilität der Fachbereiche und entlastet die zentrale IT. Sinnvoll ist der Ansatz vor allem in komplexeren Organisationen mit vielen unterschiedlichen fachlichen Anforderungen. QUNIS begleitet Sie von der Einschätzung, ob Data Mesh für Ihre Organisation der richtige Ansatz ist, über die Konzeption bis zur Umsetzung und föderierten Governance.
Data Platform: Das Herzstück einer zukunftssicheren Infrastruktur
Eine Data Platform verbindet Daten aus unterschiedlichen Quellen und schafft eine gemeinsame Grundlage für ihre sichere, konsistente und skalierbare Nutzung. Sie bildet die Basis für Reporting, Analytics, Machine Learning und GenAI. QUNIS begleitet Sie von der Konzeption und Architektur über die Auswahl geeigneter Technologien bis zur Implementierung und zum Betrieb
Data Strategy: Der Kompass für Ihre digitale Transformation
Eine durchdachte Datenstrategie richtet Ihre Data- und AI-Aktivitäten konsequent auf Ihre Geschäftsziele aus und schafft den Rahmen für konkrete Anwendungsfälle von Business Intelligence, Analytics und IoT über Machine Learning bis GenAI. So wird Digitalisierung zu einem messbaren Erfolgstreiber. QUNIS begleitet Sie von der Reifegradanalyse über das strategische Zielbild bis zur klaren, priorisierten Roadmap.
Datenprodukte: Von rohen Zahlen zu wertvollen Lösungen
Datenprodukte stellen Daten für konkrete geschäftliche Anwendungsfälle strukturiert und nutzbar bereit, mit klaren Verantwortlichkeiten, definierten Qualitätsanforderungen und hoher Benutzerfreundlichkeit. Unternehmen können Daten dadurch schneller und verlässlicher nutzen und den Aufwand für wiederkehrende Datenaufbereitung reduzieren. QUNIS begleitet Sie von der Ideenfindung über die Umsetzung bis zum langfristigen Lebenszyklusmanagement.
Datenvisualisierung: Komplexität reduzieren und Erkenntnisse gewinnen
Datenvisualisierung macht Muster, Trends und Abweichungen in Ihren Daten auf einen Blick sichtbar. Durch klares Informationsdesign und einheitliche Notationsstandards wie IBCS werden Informationen in Reports und Dashboards bis hin zum direkten Dialog mit den Daten schneller verständlich und Entscheidungen gezielt unterstützt. QUNIS begleitet Sie von der Konzeption und technischen Umsetzung bis zur Schulung Ihrer Teams.
Data & AI-Beratung: Daten und KI wirksam im Unternehmen nutzen
Eine Data & AI-Beratung unterstützt Unternehmen dabei, Daten und künstliche Intelligenz strategisch, technisch und organisatorisch so einzusetzen, dass daraus konkreter Geschäftsnutzen entsteht. Sie verbindet Data Strategy, Data Governance, moderne Datenplattformen, BI & Analytics sowie AI-Anwendungen von GenAI bis Machine Learning zu einem ganzheitlichen Ansatz. QUNIS begleitet Sie von der strategischen Ausrichtung über die technische Umsetzung bis zur Befähigung Ihrer Teams und nachhaltigen Verankerung in Ihrer Organisation. Dabei beraten wir herstellerunabhängig und setzen auf Technologien und Partnerschaften mit Microsoft, SAP, Databricks, Snowflake und STACKIT.