Archiv für die Kategorie Microsoft Azure

Digitale Innovation braucht eine Datenstrategie

Erstellt am: Montag, 11. März 2024 von Anja Gorbach

Unternehmen investieren massiv in Digitalisierungsprojekte und die datengetriebene Wertschöpfung. Neue ERP-Systeme, Prozessvereinheitlichung oder die Ertüchtigung der internen IT-Infrastruktur stehen hier auf der Agenda. Dazu kommen immer mehr innovative Use Cases wie AI- und ML-Anwendungen, Bilderkennungsverfahren oder IoT-Plattformen. Als Cloud-Lösungen sind mächtige Speicher- und Analysesysteme selbst für mittelständische Unternehmen erschwinglich und kommen dort auch rege zum Einsatz.

Ohne ein fortgeschrittenes Datenmanagement werden die digitalen Innovationen jedoch nicht funktionieren, denn nach wie vor gilt die alte Weisheit: Die neuen Technologien können die Erwartungen nur erfüllen, wenn die Datenbasis stimmt. Und hier liegt in der Unternehmenspraxis oft das Problem.

Unkoordinierte Dateninitiativen kosten Geld und gefährden die Wertschöpfung

Im Zusammenhang mit der Systemadministration sind meist auch Datenmanagement-Initiativen etabliert. Diese laufen aber oft unkoordiniert im Unternehmen nebeneinander – und jede einzelne Disziplin für sich ist eine Mammutaufgabe.

Stamm- und Metadatenmanagement, Schnittstellen-Verwaltung, Datenqualität, Initiativen rund um BI und ML sind verschiedenste Ansätze, in denen sich einzelne Teams um ihr jeweiliges Datenthema kümmern.

  • So setzt man beispielsweise das Stammdatenmanagement oft nur Tool-basiert auf.
  • Oder es kommt vor, dass in der IT eine MDM-Implementierung läuft und parallel eine unternehmensweite Data-Governance-Initiative gestartet wird.
  • Oder eine ERP-Migration von SAP R/3 auf S/4 läuft unabgestimmt mit der Data & Analytics-Welt.

Entscheidungen im Rahmen von nicht abgestimmten Einzelinitiativen verursachen jedoch unnötige Kosten und gefährden die unternehmensweite Wertschöpfung von Daten. Da hilft nur eins: die unternehmensspezifischen Ziele des Datenmanagements zu definieren und die Umsetzung dementsprechend zu planen.

Es gilt, eine umfassende Datenstrategie zu entwickeln

Die Ziele des Datenmanagements sollten sich an der Unternehmensstrategie ausrichten. In diesem Rahmen können Dateninitiativen dann sinnvoll priorisiert und eingeordnet werden, so dass Transparenz geschaffen wird und alle Maßnahmen auf ein gemeinsames Ziel hinauslaufen. QUNIS hat ein Framework für die Datenstrategie entwickelt, die mit den folgenden drei Säulen bei der Entwicklung einer ausbalancierten Strategie hilft:

  • Scope
  • Architektur & Technologie
  • Organisation & Data Governance

Scope

Hier werden die datenorientierten Ziele des Unternehmens abgesteckt. Ansatzpunkte sind dabei datengestützte Prozessabläufe, Informationsbedarfe sowie digitale Produkte und Services des Unternehmens. Die Ziele, die derzeit in den Projekten am häufigsten genannt werden, sind effiziente Prozessketten, verlässliche Auswertungen durch hohe Datenqualität, Automatisierung im Datenmanagement oder die Entwicklung wettbewerbsfähiger Produkte und Services auf Basis hochwertiger Daten.

Empfehlung: Lassen Sie den ermittelten Scope vom Management bestätigen. Die Umsetzung der Strategie wird Kapazitäten erfordern und organisatorische Veränderungen bis in die operative Prozessebene mit sich bringen. Das Committent der Unternehmensleitung ist daher unabdingbar für die erfolgreiche Umsetzung.

Architektur & Technologie

Hier werden die Themenblöcke Stamm- und Metadatenmanagement, Backbone & Middle Layer sowie der Bereich Data & Analytics diskutiert. Besonders beim Stamm- und Metadatenmanagement gibt es immer wieder gewaltige Überraschungen beim Start der strukturierten Analyse. Die Fragen, wie man an bestimmte Daten herankommt, wer die Datenhoheit hat oder wo die Lücken in der Datenpflege liegen, können viele Unternehmen nicht klar beantworten. Von unternehmensweiter Transparenz sind die meisten Organisationen hier weit entfernt.

Im Bereich Backbone & Middle Layer geht es um Infrastruktur- und Technologie-Entscheidungen zur Verknüpfung von Systemen zu durchgehenden Datenplattformen. Ein wichtiger Themenblock in einer Datenstrategie ist natürlich der Bereich Data & Analytics mit seiner originären Aufgabe, Daten zu Analysezwecken in einer zentralen Plattform zu sammeln, aufzubereiten und zu verteilen.

Data & Analytics-Plattformen verarbeiten heute nicht mehr nur strukturierte Daten in klassischen BI-Analysen, sondern auch IoT-, GPS- oder Webdaten. Der Output können Reports zur internen Steuerung oder als Service für Partner, Lieferanten oder Kunden sein, aber auch Daten zur Speisung von ML-Cases und weiteren Systemen.

Organisation & Governance

Um eine standardisierte und skalierbare Data & Analytics-Plattform aufzubauen, ist die Etablierung einer strukturierten Data Governance zum geregelten Umgang mit den verschiedensten Datenformaten unverzichtbar. Data Governance versteht sich hier als integraler Bestandteil einer ganzheitlichen Datenstrategie, der den organisatorischen Handlungsrahmen für Einzeldisziplinen des Datenmanagements stellt. Wesentlicher Baustein ist das klassische Rollenmodell mit den Funktionen Data Owner und Data Steward auf operativer Ebene sowie den Leitungsfunktionen Data Board auf Teilkonzern-Ebene und dem Head of Global Data Governance auf Konzernebene.

In diesem Themenbereich liegt wahrscheinlich die höchste Sprengkraft, wenn das Datenmanagement in der Organisation verankert wird. Der Hauptgrund ist, dass die datenorientierte Organisation nicht der klassischen Linienorganisation der Fachbereiche entspricht. Der Einsatz von Business-Daten endet nicht an der Abteilungsgrenze von Sales, Finance oder HR. Die Daten werden vielmehr bereichsübergreifend in End-to-End-digitalisierten Prozessen genutzt und sollten daher auch von crossfunktional angesiedelten Datenexperten in einer Enterprise-Organisation verwaltet werden.

In einer mittleren bis großen Organisation lassen sich dabei heute nicht mehr alle Datenprozesse von einem einzigen zentralen Bereich stemmen. Datenexperten müssen stattdessen im gesamten Unternehmen verteilt sein und eng mit den Fachbereichen zusammenarbeiten. Deren Fachexpertise ist unbedingt nötig, um Daten hinsichtlich ihrer Wertschöpfung im Business und aus legaler Sicht korrekt zu beurteilen und sie optimal im Geschäftsprozess einzusetzen. Tatsächlich kann man bei vielen Unternehmen derzeit beobachten, dass vorhandene zentralisierte BI- oder Governance-Organisationen aufgebrochen werden, um sie breiter im Unternehmen anzulegen.

Orchestrierte Umsetzung auf Basis der Datenstrategie

Die operative Verankerung dieser Querschnittsfunktionen erfordert Durchsetzungskraft und Schulungen im gesamten Unternehmen, um ein unternehmensweites Bewusstsein für Daten als Wertschöpfungsfaktur aufzubauen und die nötige Akzeptanz für die datengetriebene Organisation im Tagesgeschäft zu erreichen. Hier geht es um nichts weniger als um einen echten Kulturwandel mit Blick auf die Daten, der am besten durch ein gezieltes Change Management begleitet wird.

Die datengetriebene Organisation ist nicht von heute auf morgen zu erreichen und Widerstände im Unternehmen sind absehbar. Die Datenstrategie ist jedoch ein sicheres Gerüst, zudem gibt sie die Roadmap für die schrittweise Umsetzung vor.

Im Rahmen der Datenstrategie können Unternehmen kleine Projekte angehen, in überschaubaren Schritten immer wieder Win-Effekte erzeugen und Mehrwerte liefern. Einzelinitiativen laufen auf dieser Basis orchestriert und ohne Redundanzen im Rahmen des entworfenen Big Picture.

Mein Tipp: Wenn Sie mehr über Datengetriebene Wertschöpfung und Datenstrategie wissen wollen, folgen Sie uns auf LinkedIn und Xing oder abonnieren Sie einfach unseren Newsletter. Oder kontaktieren Sie uns und schreiben Sie mir direkt über KONTAKT ich freue mich über den Austausch mit Ihnen! 

Danone: Sell-Out-Applikation in Lakehouse-Architektur

Erstellt am: Montag, 5. Februar 2024 von Anja Gorbach

Danone gehört zu den führenden Lebensmittelherstellern weltweit. Eine globale Plattform für Data & Analytics hilft bei der operativen und strategischen Steuerung des Konzerns. Für den Bereich Danone D-A-CH hat QUNIS eine Sell-Out-Applikation realisiert, die sich nahtlos in die zentrale Datenplattform einfügt.

Wir waren uns sicher, dass QUNIS den Use Case in selbstständiger Arbeit erfolgreich abliefert.

Tobias Riedner,
Head of IT  Data & Analytics, Danone Deutschland GmbH

Data Journey bis 2025

Danone verfolgt eine konsequente Digitalisierungsstrategie. Im Jahr 2020 hat das Unternehmen eine auf fünf Jahre angelegte Initiative zu den Themen Cloud, Data Products und Data Driven Decisions gestartet und in diesem Rahmen eine zentrale Datenplattform für Data Sourcing und Provisioning aufgebaut. Seit dem Rolling Out der „One Source“-Plattform im Jahr 2022 werden kontinuierlich neue Use Cases aufgesetzt.

Die benötigten Datenprodukte für die Anwendungen werden vom Bereich IT Data & Analytics zur Verfügung gestellt und gewartet. Für die Umsetzung einer Sell-Out-Applikation hat das IT-Team QUNIS als Implementierungspartner hinzugezogen. Die internen Core DevOp Teams, die unternehmensweit Datenprodukte bereitstellen, hatten zu diesem Zeitpunkt nicht die nötigen Kapazitäten für diesen strategisch wichtigen Use Case. Als zentrales Steuerungsinstrument für den Bereich Danone D-A-CH wurde der Sell Out Use Case jedoch dringend benötigt.

Use Case an QUNIS delegiert

QUNIS war bei Danone bereits seit Jahren als projekterfahrener Experte für Data & Analytics bekannt. Für Tobias Riedner, Head of IT Data & Analytics der Danone Deutschland GmbH, war daher klar, dass er sich auf QUNIS als kompetenten Implementierungspartner verlassen kann: „Wir waren uns sicher, dass QUNIS den Use Case in selbstständiger Arbeit erfolgreich abliefert.“

Im Projekt galt es, den spezifischen Use Case im Rahmen der vorgegebenen globalen Referenzarchitektur umzusetzen. Die One-Source-Datenplattform von Danone ist ein Data Lakehouse auf der Basis von Microsoft Azure, mit vielfältigen Vorsystemen, mit Databricks und Snowflake Datenspeichern und Power BI als Frontend für die Berichtsempfänger.

Für Tobias Riedner war wichtig, dass QUNIS in dieser Technologieumgebung eine große Expertise und umfangreiche Projekterfahrung mitbringt. Aber auch die Tatsache, dass QUNIS zuvor bereits eine ähnliche Anwendung mit anderer Technologie umgesetzt hatte, sprach für eine schnelle und sichere Implementierung.

Wichtige Steuerungskennzahlen

Der Sell Out Use Case ist eine klassische BI-Anwendung, allerdings fachlich und hinsichtlich des Datenmanagements sehr komplex. Danone vertreibt seine Produkte fast ausschließlich als B2B-Händler an den Einzelhandel. Der Verkaufspreis an Händler wie Aldi oder ReWe wird als „Sell In“ geführt. Zu welchem „Sell-Out“-Preis der jeweilige Einzelhändler die Produkte an die Konsumenten abgibt, ist für Danone eine wesentliche Information für die Preissteuerung. Aus der Marge zwischen Sell In und Sell Out, oder der Sell-Out-Nachfrage für das Produkt, ergeben sich Hinweise zur Preissensitivität der Endkunden, die wiederum Auswirkungen auf die eigene Preisgestaltung und darüber hinaus auch auf die Produktions- und Lagersteuerung oder auf Marketingaktionen haben.

Datenmanagement automatisiert

Danone erhält für diese Analyse Flat-Files von den Einzelhändlern, die vor der Neuimplementierung manuell gesammelt und aufbereitet wurden. Die Prüfung und Zusammenführung der Daten war zuvor entsprechend aufwändig und fehleranfällig. Wegen des hohen Aufwands war zudem nur eine monatliche Aktualisierung möglich.

Die Data Engineers von QUNIS haben das Datenmanagement neu aufgesetzt. Die teilautomatisiert gesammelten Dateien der Händler werden nun intern vollautomatisch verarbeitet, in das Data Lakehouse integriert und zur Auswertung bereitgestellt. Eine wesentliche Herausforderung im Projekt war dabei die Harmonisierung von Hunderten angelieferter Excel- und Textfiles, u. a. auch mit unterschiedlichen Berichtszeiträumen der Händler.

© Burda Food Agency / Katrin Winner

Leistungsstarke Datenmodelle

Bei der Datenmodellierung war die fachliche Expertise von QUNIS gefragt. Die performanten Datenmodelle ermöglichen schnelle und flexible Auswertungen für unterschiedliche Fachbereiche. Das Datenprodukt wird für die Abteilung Price Revenue Growth Management (PRCM) bereitgestellt, die diese wiederum für Reporting und Analyse in verschiedenen Fachbereichen aufbereitet. Im Rahmen des PRCM-Prozesses können nun Bereiche wie Sales, Key Account Management oder Produktion ihre Fragen zur Preissensibilität der Endkunden mit flexibler Sicht auf die Verkäufe, Preise, Händler oder Regionen beantworten, Produktionsmengen steuern oder Lieferungen zu Händlern oder in bestimmte Regionen präzise terminieren. Tobias Riedner fasst zusammen: 

 Die Sell-Out-Applikation ist für unsere Unternehmenssteuerung unverzichtbar. Dank QUNIS sind die aktuellen Kennzahlen heute auf Knopfdruck verfügbar.


Kompetenter Implementierungspartner

QUNIS wurde bei Danone vor allem als Experte für Data Engineering eingesetzt. Wichtig ist dabei jedoch auch der Blick für das Big Picture der globalen Datenplattform. Die Architektur der Sell-Out-Lösung fügt sich nahtlos in die Gesamtarchitektur ein, kann im Rahmen der standardisierten Technologieumgebung beliebig ausgebaut werden und lässt sich zugleich an die ständig weiterentwickelte Datenplattform anpassen.

Die Zusammenarbeit mit QUNIS war großartig. Bei Bedarf werde ich jederzeit wieder darauf zurückgreifen.

Mehr zu Danone: Danone ist einer der führenden Hersteller von Lebensmitteln und medizinischer Ernährung in der D-A-CH-Region, der in vier Geschäftsbereichen tätig ist: Milchfrische, pflanzenbasierte Produkte, natürliches Mineralwasser und Erfrischungsgetränke sowie frühkindliche und medizinische Nahrung. Mit rund 2.300 Mitarbeitern an sieben Standorten sowie zwei international relevanten Werken produziert Danone D-A-CH über 1.000 unterschiedliche Produkte. Das Portfolio umfasst führende internationale und lokale Marken wie Actimel, Activia, Alpro, Aptamil, Volvic, evian, Fruchtzwerge, Nutrini, Fortimel und Neocate. Weltweit ist Danone mit mehr als 96.000 Mitarbeitenden in über 55 Ländern Marktführer in den Bereichen Dairy & Plant Based Products, Spezialized Nutrition und Waters. Die Danone Produkte sind in mehr als 120 Ländern erhältlich. Weitere Informationen: www.danone.de

Mehr zur QUNIS Implementierung

Schreiner Group: Implementierung eines Data Warehouse in der Cloud

Erstellt am: Dienstag, 12. Dezember 2023 von Anja Gorbach

Die Schreiner Group ist ein international tätiges Familienunternehmen, das innovative Hightech-Labels und Funktionsteile vor allem für die Pharma- und Automobilindustrie entwickelt und produziert. Mit zukunftsweisenden Produkten wie smarten RFID-Lösungen, Druckausgleichselementen für Elektronik-Gehäuse oder Schutzfolien erzielt die Schreiner Group einen Jahresumsatz von über 200 Millionen Euro. Die Controlling-Abteilung hat zusammen mit QUNIS ein Cloud-basiertes Data Warehouse implementiert. Die BI-Lösung bildet den Kern einer zentralen Datenplattform, die schrittweise im gesamten Unternehmen ausgerollt wird.

Unser Data Warehouse ist hoch professionell, standardisiert, nachvollziehbar und skalierbar. Die moderne Data & Analytics-Architektur erschließt SAP-Daten für unsere Fachbereiche.


Matthias Lindemann,

BI Solution Architect, Schreiner Group GmbH

Data & Analytics-Implementierung parallel zur SAP-Einführung

Im ersten Schritt sollte ein modernes Data Warehouse (DWH) implementiert werden, das eine einheitliche Datenbasis für Reporting und Analyse schafft. Die Systemarchitektur sollte dabei als ausbaufähige Datenplattform angelegt werden, die in späteren Projektphasen beispielsweise durch einen Data Lake ergänzt werden kann.

Der projektverantwortliche BI Solution Architect Matthias Lindemann hebt die hochprofessionelle und fokussierte Beratung durch QUNIS hervor: „Die Strategie-Workshops waren sehr effektiv. QUNIS hat uns gezielt zur passenden Data & Analytics-Lösung geführt.“

Nach der erfolgreichen Zusammenarbeit bei der Strategieentwicklung hat sich die Schreiner Group bei der Realisierung des Data Warehouse ebenfalls für QUNIS als Implementierungspartner entschieden. Das DHW-Projekt fand dabei unter besonderen Rahmenbedingungen statt: Die Schreiner Group löst ihr bestehendes ERP-System auf Basis einer AS/400-Datenbank schrittweise durch SAP ab. Dadurch ergibt sich derzeit ein Parallelbetrieb zweier ERP-Systeme mit ganz unterschiedlichen Datenstrukturen.

Ein wesentliches Ziel des neuen Data Warehouse ist, den Controllern und Fachanwendern einen einfachen Zugriff auf konsolidierte Daten aus beiden ERP-Systemen zu ermöglichen. Gerade im SAP-Umfeld werden sämtliche Ladestrecken neu konzipiert und schrittweise realisiert.

Pilotprojekt in der Cloud

Die Einführung von Azure war für die Schreiner Group aufgrund der speziellen Herausforderungen einer Cloud-Umgebung Neuland und erwies sich als aufwändiger als zunächst angenommen. QUNIS und die auf Cloud-Projekte spezialisierte Schwesterfirma TEQWERK, die zeitweise ebenfalls involviert war, waren hier insbesondere hinsichtlich der internen Positionierung des Projekts sehr hilfreich.

Matthias Lindemann erklärt, dass die professionelle Implementierung und Moderation u. a. die interne IT überzeugt, Vertrauen geschaffen und damit die Umsetzung der vom BI Board favorisierten Cloud-Lösung ermöglicht haben. Die Azure-Umgebung wird derzeit von der IT-Abteilung der Schreiner Group betreut. Eine Auslagerung an TEQWERK steht als mögliche Alternative im Raum.

Flexible Auswertung von SAP-Daten

Zum Aufbau des Data Warehouse kam das QUNIS Data Warehouse Framework (QDF) zum Einsatz. Das Vorgehensmodell mit Best Practices, Templates und vordefinierten Prozessen sorgt für eine schnelle und sichere Implementierung und Bewirtschaftung des Data Warehouse.

  • Der Schwerpunkt im Projekt lag auf der Erschließung der SAP-Daten für den Fachbereich. Auf Empfehlung von QUNIS wurden die SAP-internen Business Logiken nicht übernommen, sondern eigene Ladestrecken mit Direktzugriff auf die einzelnen SAP-Tabellen definiert. Damit erhält der Fachbereich höchste Flexibilität beim Aufbau und der Auswertung seiner Datenmodelle.
  • Bei der Integration der ersten Use Cases arbeitete das interdisziplinäre Projektteam bereits mit den neu geschaffenen Rollen aus Fachbereichen, Prozessexperten, IT und Führungskräften eng zusammen. Inzwischen sind die Power User aus den Fachbereichen mit den SAP-Strukturen so vertraut, dass sie eigenständig die benötigten SAP-Tabellen ermitteln und hinsichtlich ihrer Reporting- und Analyse-Relevanz beurteilen.
  • Die effiziente Zusammenarbeit zwischen Power Usern und den Data Managern aus der IT wird zudem durch das Data Dictionary unterstützt, das QUNIS in seinem QDF-Modell als Template bereitstellt. Die Power User nutzen das Tool als Drehbuch für die IT, um ihre Anforderungen professionell zu spezifizieren.

Auftragseingang als erster Use Case

Als erster Use Case wurde das Auftragseingangsreporting im Data Warehouse abgebildet. Im Prototyping-Verfahren wurden die ETL-Strecken und Datenmodelle definiert, der Auftragseingangsreport in Power BI abgebildet und die Lösung schrittweise weiter ausgefeilt.

Die Beteiligten der Schreiner Group haben sich im Projekt das entsprechende Know-how angeeignet und können nun das Umsatzreporting als zweiten Use Case komplett selbstständig aufsetzen. Matthias Lindemann benennt den Coaching-Ansatz von QUNIS als wesentlichen Vorteil: „Die Fachabteilung hat das Datenmodell verstanden und kann alle benötigten Auswertungen selbst zusammenstellen.“

Das neue Umsatz- und Auftragseingangsreporting vereint Informationen aus beiden ERP-Welten und wird das bestehende Sales Reporting aus dem bisherigen Reportingtool und Excel ablösen. Bisher arbeiten lediglich ausgewählte Power User und Controller mit Power BI. Ein Rollout von Power BI auf die End User und weitere Power User ist schrittweise je nach Umsetzung der nächsten Use Cases geplant.

Interne Weiterentwicklung

Mit dem Data Warehouse hat das Controlling schon während der SAP-Implementierung eine integrierte Berichtsplattform bereitgestellt. Ein wesentlicher Gewinn ist die im Lauf der Implementierung etablierte effektive Zusammenarbeit der Power User mit den Data Managern aus der IT auf Basis professioneller Requirements.

Die Power User haben die Datenbewirtschaftung und -bereitstellung heute selbst in der Hand und können die SAP-Daten flexibel auswerten. Auch die IT-Abteilung lobt das hoch automatisierte Data Warehouse, das einen sicheren Betrieb mit einfacher Wartung, strukturierter Weiterentwicklung und gleichbleibend hoher Performance gewährleistet: „Das Data Warehouse ist hoch professionell, standardisiert, nachvollziehbar und skalierbar.“ 

Die Data & Analytics-Plattform wird zunehmend verschiedene BI-Produkte und Insellösungen der Fachbereiche ersetzen, was die IT-Administration vereinfacht und Kosten für Software-Updates und diverse Lizenzen spart.

Organisatorisch hat das neu geschaffene BI Competence Team (BICT) unter der Leitung des Controllings hierfür bereits alle BI- und Analytics-Initiativen der Schreiner Group zusammengefasst. Darüber hinaus gestaltet das BICT die Weiterentwicklung der unternehmensweiten Data Governance und ist in Architekturfragen hinsichtlich der Analytics und des Reportings wichtiger Ansprechpartner.

Das Controlling treibt derzeit die Umsetzung und den Rollout von Reporting und Analyse in Power BI weiter voran. QUNIS wird für diese Ausbaustufen lediglich punktuell benötigt und steht für Fragen bereit. Desweiteren stehen die Themen Aufbau und Integration einer neuen Planungslösung, Big Data, Integration von KI-Anwendungen und die damit verbundene Weiterentwicklung der Azure-Architektur auf der Roadmap.

Mehr zur Schreiner Group: Die Schreiner Group GmbH & Co. KG ist ein international tätiges deutsches Familienunternehmen und gilt als bevorzugter Partner in den Märkten Healthcare und Mobility. Der „Hidden Champion“ aus Oberschleißheim im Landkreis München hat weltweit vier Standorte (u.a. in Shanghai und New York) und liefert in rund 60 Länder. Das Kerngeschäft sind Funktionslabels in Top-Qualität, die um ergänzende Systemlösungen und Dienstleistungen angereichert werden. Die innovativen Hightech-Labels und Funktionsteile der Schreiner Group erschließen smarte Lösungsdimensionen und helfen, das Leben ein Stück gesünder, mobiler und sicherer zu machen.  www.schreiner-group.com

Mehr zu QUNIS ImplementierungQUNIS Implementierung

Massive Parallelität und das Lakehouse

Erstellt am: Mittwoch, 27. September 2023 von Anja Gorbach

Hinter einer massiv parallelen Architektur steckt das Prinzip, dass Daten nicht mehr nur auf einer Maschine liegen, sondern auf beliebig vielen.

Die Idee dahinter: Wollen mehrere Klienten auf die selben Daten zugreifen, werden die Daten entsprechend repliziert. Eine aktuelle massiv parallele Architektur ist das Lakehouse. Es verteilt die Daten nicht nur auf mehreren Maschinen, sondern erlaubt auch den direkten Zugriff auf die Daten. Voraussetzung dafür ist, dass die Klienten ihre eigene Rechenleistung beitragen. 

Jeder bringt seine Rechenleistung mit

In einem massiv parallelen System gibt es statt einer Datenbank, über die die gesamte Arbeit komplett mit teurer Rechenleistung abgewickelt wird, nur noch einen Data Lake als reinen und äußerst kostengünstigen Speicherplatz. In dieser neuen Architektur kann jeder Klient selbst in einem zentralen Register nach seinen Daten suchen und bringt die jeweils für die Abfrage notwendige Rechenleitung einfach mit. Daher verkraftet es das System sogar, wenn mehrere hundert Data Scientisten gleichzeitig darauf zugreifen.

In einem solchen Lakehouse können zudem problemlos polystrukturierte Daten gespeichert werden. Es stellt darüber hinaus mithilfe von Analytischen Tabellenformaten wie beispielsweise Apache Iceberg durchgängig sicher, dass diese stets konsistent sind. Auch wenn mehrere Klienten gleichzeitig auf dieselben Daten zugreifen, sie lesen oder ändern, besteht somit keine Gefahr eines korrupten Datenbestands. Zum Vergleich: Dies konnte der Bibliothekar nur garantieren, indem er darauf achtete, dass erst der eine liest und danach erst der andere eine Änderung vornimmt.

Für den Fall, dass ein Anwender nicht in der Lage ist, eigene Rechenleistung mitzubringen, oder Unterstützung für die Datenabfrage braucht, gibt es Dienste wie der des QUNIS-Partners Dremio. Sie stellen über eine Data Lake Engine bereits fertige Cluster zur Verfügung. Darüber kann beispielsweise ein Controller in seiner gewohnten Umgebung und auf einer anwenderfreundlichen Oberfläche so arbeiten, als würde er direkt auf die Datenbank zugreifen. Da diese Struktur ebenfalls massiv parallel aufgebaut ist, sind auch hier mehrere Zugriffe gleichzeitig möglich, ohne dass es zu Konflikten kommen kann.

Aus homogen wird heterogen

Die massive Parallelität geht unbestritten mit einer gewissen Komplexität einher. Vorher war die Welt homogen und dadurch relativ einfach: Es gab eine Lösung, eine Technologie, eine Datenbank und darüber ließen sich alle Probleme lösen. In massiv parallelen Strukturen hingegen muss sich jeder selbst um den Data Lake kümmern und zudem jedes Mal eigene Rechenleistung beisteuern.

Das kann man natürlich grundsätzlich als Nachteil ansehen. Heterogenität und Offenheit für unterschiedliche Technologien bieten aber auch Vorteile, wenn etwa mehrere Anwender im Zugriff auf dieselbe Datenbank problemlos völlig verschiedene Programmiersprachen nutzen können. In modernen datengetriebenen Unternehmen, in denen möglichst jeder Mitarbeiter mit Daten arbeiten soll, die in großer Zahl vorliegen, kommt man an einer solch hochskalierbaren Architektur ohnehin kaum mehr vorbei.

Die Cloud macht‘s erschwinglich 

Massiv parallele Datenarchitekturen und Datenbanken gibt es übrigens schon seit den 1990er Jahren. Allerdings handelte es sich damals noch um rein proprietäre und dadurch sehr teure Technologien. Als Gamechanger zeigte sich die Mitte der 2010er Jahre die Entwicklung nichtproprietärer Technologien mit offeneren Architekturen. Jedoch waren diese für die meisten Unternehmen damals noch nicht so wichtig, weil häufig nur eine kleine Abteilung überhaupt mit Daten gearbeitet hat und auch die Datenmenge noch nicht annähernd so hoch war wie heute.

In den letzten Jahren hat sich dies enorm gewandelt: Mittlerweile will nahezu jeder Unternehmensbereich permanent Zugriff auf alle Daten sowie eigene Datenprodukte erstellen, selbstständig veröffentlichen und mit anderen teilen. Durch den stetig steigenden Bedarf waren die alten Architekturen daher ab einem gewissen Punkt nicht mehr tragfähig. Mit der Ablösung der teuren proprietären Systeme durch moderne Cloud-Architekturen, ist die Einstiegshürde naturgemäß deutlich niedriger.

So kann man zum Beispiel über ein Cloud-basiertes Pay-as-you-go-Modell sehr komfortabel und dazu kostengünstig mächtige Technologien nutzen und muss nicht erst Millionen-Euro-Beträge in technologisch aufgerüstete Serverschränke investieren. Stattdessen greifen die Anwender einfach on-demand auf die Daten zu, wenn sie sie brauchen, fahren dann entsprechend die Rechenleistung hoch und zahlen auch nur genau dafür.

Mag die massive Parallelität als Konzept relativ statisch sein, ist doch der Markt überaus dynamisch. Das Konzept wird in allen Bereichen kontinuierlich weiterentwickelt – so entstehen immer wieder neue Angebote und damit spannende Möglichkeiten, die es bislang nicht gab und die die Unternehmen in Zeiten von Big Data gewinnbringend nutzen können.

Data Lakehouse mit dem Modern Data Stack

Auch SENEC als einer der führenden Solarstromspeicheranbieter in Deutschland setzt auf einen Modern Data Stack und hat zusammen mit QUNIS ein Data Lakehouse aufgesetzt.

  • Die IT-Architektur ist ein Data Lakehouse auf Basis von Azure Databricks, das Elemente eines Data Warehouse mit einem Data Lake in der zentralen Plattform kombiniert. Die mit einer Staging und Cleansing Area, dem Core und einem Data Mart angelegte Lakehouse-Architektur ist in der Lage, Funktionen von Streaming Analytics, BI und maschinellem Lernen auf einer einzigen Plattform bereitzustellen.
  • Als Datenquellen sind u.a. eine Time Series Datenbank, eine Log-Datenbank, diverse relationale Datenbanken, SharePoint und klassische Business Systeme wie ERP, CRM usw. eingebunden. Zur Integration und Orchestrierung der Daten sind die Open-Source-Lösungen Airbyte und Airflow auf Kubernetes im Einsatz, zur Transformation von Daten im Lakehouse die Open-Source-Software dbt. Mit der kontinuierlichen Umsetzung neuer Use Cases werden schrittweise weitere Datenquellen angebunden. Die Anwender greifen über Microsoft Power BI auf die aufbereiteten Daten zu.
  • Power BI ist als strategisches Frontend für alle User im Einsatz. Das vielseitige Frontend unterstützt und visualisiert verschiedenste Use Cases in den Bereichen Unternehmens- und Marktinformationen sowie Produkt- und Qualitätskontrolle. Derzeit arbeiten von rund 550 Mitarbeitenden in Leipzig ca. 150 Konsumenten und Power User mit der BI-Lösung. Die Anzahl von aktuell 10 Designern soll kontinuierlich erhöht werden.

Mein Tipp: Wenn Sie mehr über Data Lakehouse und Parallele Architekturen wissen wollen, folgen Sie uns auf LinkedIn und Xing oder abonnieren Sie einfach unseren Newsletter. Oder kontaktieren Sie uns und schreiben Sie mir direkt über KONTAKT ich freue mich über den Austausch mit Ihnen! 

SENEC: Implementierung einer Data & Analytics-Plattform im Bereich Erneuerbare Energien

Erstellt am: Dienstag, 18. Juli 2023 von Anja Gorbach

SENEC gehört zu den führenden Solarstromspeicheranbietern in Deutschland. Zusammen mit QUNIS hat das Unternehmen mit vielfältigen Technologien ein Data Lakehouse aufgesetzt, das dem schnellen Firmenwachstum gerecht wird und BI- und IoT-Analysen in einer zentralen Datenplattform unterstützt.

Wegen des starken Wachstums haben wir uns entschlossen, einen Modern Data Stack auf Basis von Microsoft Azure einzuführen, um mit den steigenden Reporting- und Analyseanforderungen Schritt zu halten.

Armin Geisler,
Team Lead Data and Analytics, SENEC GmbH

Eine Plattform für alle Datenprodukte

SENEC entwickelt und produziert intelligente Speicherlösungen für die Nutzung von Sonnenenergie. Mit SENEC.360 bietet das Unternehmen Privathaushalten passgenaue Lösungen für die Eigenversorgung mit Solarstrom, von der PV-Anlage über den smarten Stromspeicher bis hin zur E-Ladestation. Das dynamische Unternehmen trifft mit seinem Angebot den Nerv der Zeit und verzeichnet ein exponentielles Wachstum.

Das vorhandene BI-System konnte der schnellen Unternehmensentwicklung nicht mehr folgen und auch der steigende Bedarf an Big-Data-Applikationen war mit individuell programmierten Lösungen nicht mehr zu bewältigen. Die Auswertung von Streaming-Daten aus IoT-Produkten, Feldtestanalysen auf Basis von Batteriedaten oder ML-Anwendungen wie Predictive Maintenance gehören zur wachsenden Zahl an Use Cases bei SENEC, die eine neue IT-Umgebung für Data & Analytics erforderten.

Ziel der neuen Datenplattform war, dass sie sowohl die klassischen Geschäftsanalysen im Finanz- und Fachbereichscontrolling als auch die Big-Data-Analysen unterstützt – mit der Möglichkeit der kombinierten Auswertung aller Datenformate in Dashboards für Geschäftsanalysen und die Unternehmenssteuerung. Die Plattform sollte als Modern Data Stack mit verschiedenen Tools und Technologien aufgesetzt werden und als Single Point of Truth für sämtliche Datenprodukte fungieren.

Mindset-Pitch für eine gute Zusammenarbeit

Im Rahmen einer Ausschreibung und auf Empfehlung aus dem Netzwerk des Teams kam QUNIS als Realisierungspartner ins Spiel. Katja Both, Head of Business Intelligence & Processes bei SENEC, integrierte mit einem Mindset-Check den ausschlaggebenden Bewertungsansatz der Pitches. Hintergrund ist die Überzeugung, dass die gute Zusammenarbeit mit dem Dienstleister – insbesondere auf operativer Ebene – entscheidend für den Projekterfolg ist.

Katja Both erläutert: „Uns war wichtig herauszufinden, ob unsere Engineers und Analysten gut mit denen des Dienstleisters zusammenarbeiten können. Am Ende haben unsere Mitarbeiter:innen entschieden, wer unser Projektpartner wird. Damit hatten wir von Beginn an ein ausgeprägtes Committment aller Beteiligten, entscheidend für die benötigte Geschwindigkeit in diesem schnellwachsenden Hypergrowth Umfeld.“

QUNIS bringt die richtige Mischung aus strategischem Vorgehen und Pragmatismus mit und passt auch mit seinem Mindset gut zu unserem Team.

Katja Both,
Head of Business Intelligence & Processes, SENEC GmbH

Agile Entwicklung am Testsystem

Einmal beschlossen, ging die Konzeption und Implementierung der komplexen Plattform zügig voran. Die Strategie für die neue IT-Architektur, die Systemkonzeption und Themen wie Data Governance und Security haben QUNIS und SENEC ab Mitte 2022 innerhalb von zwei Monaten definiert. Im Herbst 2022 startete die Implementierung der IT-Architektur. Im März 2023 war die Datenplattform betriebsbereit.

Schon während der Strategieentwicklung hat QUNIS eine temporäre Testinfrastruktur als vereinfachte Version des Zielsystems installiert, was zur schnellen Realisierung beitrug: Das Team konnte die Plattform auf diese Weise im agilen Prototyping auf und ausbauen und parallel bereits erste Anforderungen der Fachbereiche und der Geschäftsleitung umsetzen.

Data Lakehouse als Modern Data Stack

Als Modern Data Stack besteht die Cloud-basierte Plattform aus einer Vielzahl von Technologien und Tools für die Erfassung, Speicherung, Verarbeitung und Analyse von Daten.

  • Die IT-Architektur ist ein Data Lakehouse auf Basis von Azure Databricks, das Elemente eines Data Warehouse mit einem Data Lake in der zentralen Plattform kombiniert. Die mit einer Staging und Cleansing Area, dem Core und einem Data Mart angelegte Lakehouse-Architektur ist in der Lage, Funktionen von Streaming Analytics, BI und maschinellem Lernen auf einer einzigen Plattform bereitzustellen.
  • Als Datenquellen sind u. a. eine Time Series Datenbank, eine Log-Datenbank, diverse relationale Datenbanken, SharePoint und klassische Business Systeme wie ERP, CRM usw. eingebunden. Zur Integration und Orchestrierung der Daten sind die Open-Source-Lösungen Airbyte und Airflow auf Kubernetes im Einsatz, zur Transformation von Daten im Lakehouse die Open-Source-Software dbt. Mit der kontinuierlichen Umsetzung neuer Use Cases werden schrittweise weitere Datenquellen angebunden. Die Anwender greifen über Microsoft Power BI auf die aufbereiteten Daten zu.
  • Power BI ist als strategisches Frontend für alle User im Einsatz. Das vielseitige Frontend unterstützt und visualisiert verschiedenste Use Cases in den Bereichen Unternehmens- und Marktinformationen sowie Produkt- und Qualitätskontrolle. Derzeit arbeiten von rund 550 Mitarbeitenden in Leipzig ca. 150 Konsumenten und Power User mit der BI-Lösung. Die Anzahl von aktuell 10 Designern soll kontinuierlich erhöht werden.

Starkes Data & Analytics-Team

Das hohe Realisierungstempo verdankt SENEC auch der konsequenten Personalstrategie, mit der Katja Both Schub in das Thema Data & Analytics bringt. Erst im Jahr 2021 wurde die erste BI-Lösung im Unternehmen etabliert. Im Rahmen der aktuellen Implementierung ist das BI-Team innerhalb weniger Monate zum Bereich Data & Analytics mit BI-Experten, Data Analysts, Data Engineers und Data Scientists angewachsen.

Das Team unterstützt und befähigt die Fachbereiche durch Self-Services, Trainings und Standards. Katja Both erläutert: „Durch die Herausbildung von dezentralen Daten-Experten erreichen wir eine hohe Autonomie in den Fachbereichen und werden damit dem starken Unternehmenswachstum gerecht.“

Bei der Implementierung sorgten der Einsatz von Best Practices und Frameworks, die umfangreiche Projekterfahrung von QUNIS und der permanente Know-how-Transfer zu SENEC für effiziente Projektschritte und schnelle Erfolge. Während das Thema Data & Analytics seinen Projektcharakter zunehmend verliert und in eine Linienfunktion übergeht, wird SENEC die Weiterentwicklung der Plattform künftig intern mit eigenen Experten vorantreiben.

Hoch skalierbare Datenplattform

Das Ziel der Implementierung ist erreicht: Der Modern Data Stack erfüllt alle Anforderungen an fortgeschrittene Datenanalysen im Bereich BI, KI und ML.

Von strukturierten Finanzdaten bis zu Streaming-Daten stehen unterschiedlichste Datenarten in einem zentralen Speicher für flexible Auswertungen bereit. Die hohe Systemperformance sorgt dabei für schnelle Analysen bei umfangreichem Datenvolumen. Die Projektverantwortlichen heben zudem die Validität der Daten hervor. Die Herkunft und Verarbeitung von Kennzahlen ist nachvollziehbar und glaubwürdig, was das Vertrauen in die Plattform stärkt und hohe Nutzungsraten im gesamten Unternehmen fördert. Der Projektleiter Armin Geisler hält fest: „Wir gewinnen tiefere Insights für Geschäftsanalysen sowie Entscheidungen und einige Use Cases sind mit der leistungsstarken Plattform überhaupt erst möglich geworden.“

Lisa-Marie Krause, als Senior Data Engineer im Projekt verantwortlich für die technische Entwicklung, beschreibt den Status der IT-Umgebung zum Zeitpunkt der Inbetriebnahme:

Mit der Datenplattform steht das Gerüst.
Wir haben Richtfest gefeiert und können jetzt
in hoher Geschwindigkeit neue Use Cases
für die Datenanalyse umsetzen.

Lisa-Marie Krause
Senior Data Engineer, SENEC GmbH

Die hohe Taktzahl bei der Skalierung ist notwendig, denn aus dem gesamten Unternehmen kommen vielfältige Anfragen nach Use Cases im Umfeld von BI, KI und ML. Ein wesentliches Ziel der zentralen Plattform ist, künftig mehr Datenkompetenz in der Breite im Unternehmen zu verankern. Auch Armin Geisler nennt die Generierung neuer Use Cases mit schnellem Time-to-Market als wesentlichen Mehrwert: „Wir haben im Bereich Data & Analytics deutlich an technischer und fachlicher Skalierbarkeit gewonnen.“

Auf Basis der Single Source of Truth sollen die Fachbereiche künftig ihre Reports selbst aufbauen können – auch damit wird der fachliche Ausbau beschleunigt und im gesamten Unternehmen vorangetrieben.

Mehr zu SENEC: Seit 2009 entwickelt die SENEC GmbH in Leipzig intelligente Stromspeichersysteme und speicherbasierte Energielösungen. Mit SENEC.360 bietet das Unternehmen ein abgestimmtes Ökosystem zur nachhaltigen Rundum-Eigenversorgung, unter anderem bestehend aus Stromspeicher (SENEC. Home), Solarmodulen (SENEC.Solar), virtuellem Stromkonto (SENEC.Cloud) sowie E-Auto Ladestation (SENEC.Wallbox). Die Marke SENEC zählt inzwischen europaweit zu den führenden Anbietern für innovative Energie- und Speicherlösungen rund um Einfamilienhäuser – mit mehr als 120.000 verkauften Systemen und einem Beratungsnetzwerk von über 1.200 Fachpartnern. Seit 2018 ist die SENEC GmbH eine 100 %-ige Tochtergesellschaft der EnBW Energie Baden-Württemberg AG und beschäftigt über 570 Mitarbeiter*innen an den Standorten Leipzig und Köln sowie in Italien und Australien. Weitere Informationen: www.senec.com

Mehr zur QUNIS Implementierung

Neues Start-up ergänzt das QUNIS-Firmennetzwerk

Erstellt am: Mittwoch, 24. November 2021 von Monika Düsterhöft

Sein Name ist TEQWERK – sein Programm ist Cloud Computing

TEQWERK, von Hermann Hebben und Steffen Vierkorn gemeinsam mit Christopher Heid gegründet, ergänzt das Netzwerk rund um QUNIS ab sofort mit einem auf Cloud Computing fokussierten Expertenhaus. Für Christopher Heid, der zuvor als Cloud Solution Architect bei QUNIS tätig war und dort vor allem das Cloud-Infrastruktur-Geschäftsfeld mit entwickelt und aufgebaut hat, erfüllt sich mit TEQWERK ein Traum und die Vision, Cloud Computing nicht als Nische, sondern als Gesamtauftrag zu leben.

 Ich bin davon überzeugt, dass die Cloud mehr kann, als sie momentan in vielen Unternehmen darf. Denn die Cloud ist das Fundament für die Digitalisierung von Unternehmensprozessen und Produkten. Bei richtigem Einsatz erhöht sie – entgegen weit verbreiteter Gerüchte – die Sicherheit und den Datenschutz und kann gleichzeitig zu signifikanten Kosteneinsparungen führen. 

Christoper Heid,
bekennender Cloud-Native-Verfechter
und Geschäftsführer von TEQWERK


Vom Mittelständler bis hin zum Konzern: TEQWERK begleitet Unternehmen auf ihrer Reise in eine moderne IT-Infrastruktur

Vom kurzfristigen Helfer bis zur langfristigen Cloud-Strategie, der Applikationsmigration und dem digitalen Arbeitsplatz, sprich Lösungen für eine digitale und vernetzte Zusammenarbeit innerhalb des Unternehmens: Das TEQWERK-Team unterstützt seine Kunden ganzheitlich bei allen Cloud-Initiativen unter anderem mit folgenden Services:

  • Cloud-Strategie-Entwicklung unter Einbezug aller relevanten, technischen und organisatorischen Aspekte.
  • Cloud-native-Lösungen für bestehende und neue Anwendungen.
  • Effektiver Schutz vor Cyber-Angriffen mit Zero Trust und künstlicher Intelligenz.
  • Digitale Arbeitsplätze aus der Cloud für ein modernes und vernetztes Arbeiten.
  • Training & Coaching für langfristige Projekterfolge und die Verankerung des Betriebsmodells in der Organisation.
  • Managed-Cloud-Lösungen für maximalen Komfort und bestmögliche Sicherheit zu kalkulierbaren Kosten.

 

Konkrete Unterstützung für ganzheitliche Cloud-Initiativen

Viele Unternehmen sind die letzten Jahre mehr oder weniger planlos in die Cloud gestartet. Dadurch sind oftmals Insellösungen mit verschiedensten Zugängen und ohne standardisierte Sicherheitsrichtlinien oder Transparenz über die Datenspeicherorte entstanden. Die Lösungen skalieren entgegen der Erwartung nicht und sind verwaltungstechnisch oftmals ein Chaos. Anstelle weniger ist die Verwaltung sogar oftmals aufwändiger geworden. TEQWERK fängt diese Inseln basierend auf seinem Cloud Adoption Framework ein und etabliert ein Cloud-Betriebsmodell. So kann die Cloud ihre Stärken entwickeln und wirklich Spaß machen.

Oftmals können IT-Organisationen auch einfach mit ihrer On-Premise-Welt nicht mit der Geschwindigkeit mithalten, die die Fachbereiche fordern. In der Folge wird die Enterprise-IT per Kreditkarte umgangen und der Fachbereich bezieht seine Cloud-Dienste selbst. TEQWERK setzt hier ein den Bedürfnissen entsprechendes Cloud-Fundament auf und coacht IT-Organisation Schritt für Schritt in die Cloud.

Zudem wird in den Unternehmen nicht selten schwarz-weiß gedacht: Entweder die Cloud ist toll oder schrecklich, dazwischen gibt es häufig nicht viel. TEQWERK entwickelt mit seinen Kunden eine Cloud-Strategie, die den individuellen Anforderungen Rechnung trägt, damit sich für vertrauenswürdige Anbieter die Tür öffnet und unsichere Cloud-Angebote ausgeschlossen werden können.

Unternehmen, die sich der Cloud in Gänze verschließen, schneiden sich damit auch den Zugang zu Innovationen ab. Mit dem Cloud Discovery Workshop zeigt TEQWERK auf, welches Potenzial in der Cloud schlummert und wie ein Wandel von No-Cloud zu Cloud-ready gelingen kann.

Welcher Hyperscaler, ob Amazon, Google oder Microsoft, schlussendlich zum Einsatz kommt, ist für den Projekterfolg nicht entscheidend

Für eine erfolgreiche Cloud-Initiative stehen bei TEQWERK die sonst leider noch viel zu oft außen vor gelassenen Fragestellungen zu Nutzen, Aufwand und Zielen an erster Stelle. Hat man hier ein klares Bild entwickelt, wird die zweite Stufe gezündet und die operative Cloud-Journey mit TEQWERK gestartet. Basis dafür bilden Blueprints, erprobte Cloud-Architekturen sowie Best-Practises im Umgang mit der Cloud. Das Ziel ist die Schaffung einer werthaltigen Lösung, damit IT-Organisationen das Cloud-Potenzial erkennen und nachhaltig für ihr Unternehmen heben.

Lust auf mehr Cloud?

Mehr zu TEQWERK, den  Angeboten und Kompetenzen finden Sie auf der TEQWERK HOMEPAGE

Moderne Data & Analytics-Vorhaben fordern Cloud-Basis-Know-how beim Kunden

Erstellt am: Donnerstag, 13. Mai 2021 von Monika Düsterhöft

Die Cloud bietet umfassende Vorteile für BI und Advanced Analytics

Die Cloud gewinnt immer mehr an Bedeutung. Nicht nur als Möglichkeit für den generellen Aufbau von IT-Architekturen und Business-Modellen, sondern auch ganz konkret bei der Umsetzung von BI- und Advanced-Analytics-Projekten. Denn die Cloud bietet viele unschlagbare Vorteile. Diese liegen zum einen im Bereich der Kostenersparnis und Kostenkontrolle: Bezahlt wird nur, was tatsächlich an Leistung verbraucht wird, die Abrechnung erfolgt nach dem “Pay as you go”-Prinzip, es fallen keine Vorabkosten an und Investitionsausgaben für längerfristige Anlagegüter (CapEx) werden reduziert.

Zum anderen – und dies ist auch besonders für die Abbildung von Advanced-Analytics-Szenarien interessant – erlauben Cloud-Architekturen eine bedarfsgerechte Skalierung und damit die schnelle Bereitstellung passgenauer Infrastrukturen. Dank tiefer Integration in DevOps-Prozesse lassen sich zudem Entwicklungszyklen verkürzen, darüber hinaus können robuste Architekturen mit zum Beispiel Redundanzen in mehreren Regionen und Rechenzentren auf einfache Art und Weise sowie mit äußerst überschaubarem Administrationsaufwand realisiert werden. Zunehmend mehr Unternehmen erkennen diese Vorteile und sehen, was mit Cloud-Architekturen gerade auch für BI- und Analytics-Vorhaben möglich ist.

Die Stimmung ist positiv, birgt jedoch auch Herausforderungen 

Wir bei QUNIS erleben es täglich in unseren Projekten. So gut wie all unsere Kunden haben sich bereits mit dem Thema Cloud beschäftigt – und sei es nur gedanklich. Sie sind offener denn je für den Einsatz der neuen Technologien und Use Cases, bei denen Big Data oder Streaming Data in die Analysen miteinbezogen werden, sind in der Zwischenzeit zur Realität geworden. Hinzu kommt, dass BI- und Analytics-Projekte oftmals aufgrund ihrer Spezifika als „Leuchtturm“-Initiativen gelten. Und nicht selten handelt es sich dabei auch um das erste Projekt im Unternehmen, das ganz bewusst in der Cloud umgesetzt werden soll.

Eine Herausforderung, die sich daraus ergibt und die wir aktuell beobachten: Fragen zum Cloud-Konzept und damit zu Aspekten wie Networking, Monitoring, Deployment, Governance und Compliance, aber auch zur Technologie selbst, werden in BI- und Analytics-Projekten oft zum allerersten Mal gestellt und müssen erst grundlegend geklärt werden. Ein großer Teil der Projektaufwände entfällt also auf Themen, die nicht Kern des eigentlichen Projektes sind. Und Aspekte wie Cloud-Einarbeitung, -Know-how-Transfer und -Konzept-Erstellung wirken sich bemerkbar auf Timeline, Budget und Qualität des eigentlichen Projektes aus, da sich  „Nebenkriegsschauplätze“ ausbilden, die nicht originär mit den fachlichen Anforderungen in Zusammenhang stehen.

Wir versorgen Projekt-Teams mit notwendigem Cloud-Know-how

Die Erkenntnis, dass das notwendige Cloud-Basis-Know-how in Unternehmen oft nicht ausreichend vorhanden ist, aber für die zielgerichtete Umsetzung von BI- und Analytics-Projekten immer essenzieller und dringender notwendig wird, hat uns dazu bewogen, ein entsprechend fokussiertes Schulungsprogramm zu entwickeln:

Mit der dreitägigen und aus sechs Modulen bestehenden Schulung „Modern Data Management & Analytics on Microsoft Azure“ wollen wir Unternehmen, die eine Lösung in der Cloud planen, dabei unterstützen, sich das geforderte Cloud-Know-how bereits vor Projektbeginn anzueignen. Zugleich regen wir im Rahmen der Schulung dazu an, sich Gedanken über den Cloud-Reifegrad des eigenen Unternehmens zu machen. So möchten wir unsere Teilnehmer dazu befähigen, die notwendigen Themen zu identifizieren und intern zu adressieren.

Denn eine moderne, ganzheitliche BI-Lösung in der Cloud besteht aus deutlich mehr Komponenten als ein klassisches Data Warehouse (DWH) On-Premise. Die Auswahl der richtigen Komponenten und der Aufbau einer ganzheitlichen Architektur stellen dabei eine besondere Herausforderung dar. In unserer Schulung stellen wir dafür Azure-Komponenten aus verschiedenen Bereichen vor, vergleichen ähnliche Angebote miteinander und ordnen die einzelnen Komponenten den diversen Bereichen einer BI-Lösung zu.

Facettenreiche Schulungsinhalte geben fundierten Überblick zu Azure

Im Rahmen der Schulung gehen wir auf Komponenten für eine relationale DWH-Architektur in der Cloud genauso ein wie auf die Komponenten für Big-Data- und Streaming-Use-Cases und zeigen auf, wie sie in eine klassische DWH-Architektur integriert werden können, um diese sinnvoll zu ergänzen.

Wir befassen uns einerseits mit Möglichkeiten des „Lift & Shift“, bei denen bestehende Applikationen und Pipelines direkt in die Cloud übertragen werden können. Andererseits diskutieren wir auch Cloud-optimierte, also „Cloud-Optimized“-Konzepte, die verstärkt Cloud-native Funktionen wie “Serverless Computing“ und „Platform as a Service“ verwenden. Teilnehmer erhalten eine Übersicht der skalierbaren Cloud-Komponenten zur Umsetzung des Modern DWH in Azure. Die Schwerpunkte liegen auf

  • Extraktion und Datenflusssteuerung (Azure Data Factory, Event Hub – Kafka der Cloud)
  • Transformation und Compute (Azure Databricks – Apache Spark, Azure Functions – Serverless Computing, “Code First”, Azure Logic Apps – Serveless Computing, “Design First”, Azure SSIS integration runtime)
  • Speicherung und Storage (Blob und File-Storage, Azure Data Lake Storage Gen2, Azure Synapse Analytics)
  • Analyse und Bereitstellung der Daten (Polybase – „Logical Data Warehouse“) und Azure Analysis Services (Power BI).

Reine Data-Science-Anforderungen und -Projekte lassen sich zudem in jeder Größenordnung sehr gut und auch vollständig in der Cloud abbilden. Gerade die einfache und bedarfsgenaue Skalierbarkeit von Rechnerressourcen ist dabei ein immenser Vorteil gegenüber einer On-Premise-Lösung. In unserer Schulung stellen wir die verschiedenen Möglichkeiten zur Durchführung von Advanced-Analytics-Use-Cases vor.

  • So erlaubt die umfassende grafische Analytics-Umgebung „Azure Machine Learning Studio“, komplexeste Algorithmen vollständig ohne eigene Programmierung zur Anwendung zu bringen. Die gute Integration der mächtigen und skalierbaren Databricks-Umgebung ermöglicht es, analytische Modelle auf Big Data mit Apache Spark anzuwenden. Deshalb wird das System oft als Schweizer Taschenmesser der Big-Data-Datenverarbeitung bezeichnet.
  • Bei Apache Spark handelt es sich um ein einheitliches In-Memory-Big-Data-System, das bestens für die performante und parallele Verarbeitung von enormen Datenmengen geeignet ist. Apache Spark verarbeitet die Daten im Arbeitsspeicher und versucht das Schreiben auf eine Festplatte zu vermeiden. Databricks basiert auf den in Apache Spark verfügbaren Funktionen und übernimmt die komplette Verwaltung des Spark-Clusters.
  • Daneben lernen Sie die „Cognitive Services“ kennen mit fertig trainierten Anwendungen von Bild- über Sprach- oder Formularerkennung, die als Komponente in Ihre Use-Cases integriert werden können. Und wir stellen Ihnen die vorkonfigurierte „Data Science Virtual Machine“ bereit als Allzweckwerkzeug für eine kurzfristig verfügbare Entwicklungsumgebung.

Auch für die Operationalisierung von Use-Cases bietet Ihnen die Cloud vielfältige Möglichkeiten, um mit bereits geringem Konfigurationsaufwand zum produktiven Setup zu gelangen ¬– egal, ob Sie trainierte Modelle als Pipeline im Azure Machine Learning Studio anwenden und per API bereitstellen oder eigene containerbasierte Anwendungen im Kubernetes Cluster orchestrieren.

Kompaktes Wissen und Use Cases aus der Praxis

Mit dem QUNIS-Schulungsangebot „Modern Data Management & Analytics on Microsoft Azure“ ist es unser Ziel, unsere Teilnehmer bestmöglich auf die ersten Schritte mit der Cloud-Technologie Microsoft Azure im eigenen Unternehmen vorzubereiten. Wir veranschaulichen alle Themen durch Use Cases aus der Praxis und vermitteln in Live-Demos einen tieferen Einblick in die verschiedenen Technologien.

Nach der Schulung sind Sie ausgestattet mit einer breiten Wissensgrundlage und fähig, fundierte Cloud-Entscheidungen für Ihr Projekt treffen.

Mein Tipp: Hier finden Sie eine detaillierte Beschreibung der Schulung und aktuelle Termine. Sollten Sie eine individuelle Schulung für Ihr Unternehmen wünschen, sprechen Sie uns einfach an, wir beraten Sie gerne und unterbreiten Ihnen ein entsprechend auf Ihre Bedarfe zugeschnittenes Angebot. KONTAKT

Data Science mit der Microsoft Azure Cortana Intelligence Suite

Erstellt am: Donnerstag, 1. Juni 2017 von Monika Düsterhöft
Kaum eine Business-Nachricht heutzutage ohne die Schlagworte Künstliche Intelligenz, Big Data, Advanced Analytics, Machine Learning. Es heißt, die Geschäftswelt wird sich schon bald komplett ändern – und tatsächlich hat die Zukunft bereits begonnen. Erst kürzlich verkündete Microsoft der Welt seine Vision und sein Credo, künstliche Intelligenz zu demokratisieren, damit jeder von ihr nicht nur profitieren kann, sondern auch soll. Spätestens jetzt sollte man sich als Unternehmer oder als Teil eines Unternehmens Gedanken machen, wie er an dieser gleichermaßen faszinierenden wie auch ein wenig erschreckenden neuen Welt nicht nur teilhaben kann, sondern auch wird.

 

Aber wie? Eine nähere Betrachtung des Themas zeigt schnell, dass es vor allem auf Use Cases ankommt, die sich ein Unternehmen überlegen und die es definieren muss. Ebenso muss das Ziel einer Big Data-Initiative klar sein, und damit auch, was man durch entsprechende Anwendungen prognostizieren und damit erreichen will. Daran anschließend drängen sich weitere Fragen auf: Wie kann ich mein Big Data- oder Advanced Analytics-Vorhaben in die Tat umsetzen? Welche Voraussetzungen müssen gegeben sein? Wie groß sind die Hürden für eine Umsetzung? Statt nur zu vermuten, was die Kunden über meine Produkte denken, will ich es wissen! Ich will präzise Voraussagen treffen können, ob und wann meine Kunden Interesse entwickeln oder wann ich Gefahr laufe, sie zu verlieren. Dies gelingt umso besser, je mehr möglicherweise kundenrelevante Informationen einbezogen werden können, beispielsweise aus den sozialen Medien oder aus Nachrichten-Feeds. Diese wertvollen Informationen will ich sodann mit meinen vorliegenden Geschäftsergebnissen „verheiraten“, um auf dieser Datenbasis fundierte und zuverlässige Geschäftsentscheidungen treffen zu können. 

 

Erfahrung mit der Microsoft Azure Cortana Intelligence Suite

Kann diesbezüglich Microsoft sein Versprechen halten? Sind die Komponenten der Microsoft Azure „Cortana Intelligence Suite“ wirklich geeignet, um Big Data-Vorhaben umzusetzen? Zunächst einmal ist das Angebot des Herstellers Cloud-basierend und komplett für den Nutzer administriert, d.h. man benötigt keine eigene Hardware oder Mitarbeiter, sondern nutzt vollständig verwaltete Dienste. Ferner lassen sich mit Hilfe der neuen „Azure Logik Apps“ auch die genannten sozialen Medien problemlos anzapfen, und das ganz ohne zusätzlichen Programmieraufwand. Einfach ist in der Praxis auch die Analyse des daraus entstandenen Datenstroms, etwa um Trends zu erkennen. So kann man beispielsweise für eine Stimmungsanalyse das „Text Analytics API“ –  ein Baustein der sogenannten Cognitive Services – verwenden, mit dessen Hilfe sich auch Schlüsselbegriffe aus dem Text ermitteln lassen. Und dies ist nur eine Option von vielen auf Machine Learning basierenden Bausteinen aus dem Microsoft-Angebot.

Werkzeuge für den Data Scientist

Für die Arbeit als Data Scientist findet sich das „Azure Machine Learning Studio“, eine sehr komfortable und benutzerfreundliche Anwendung, die sämtliche Schritte des Data-Science-Prozess per Drag & drop komponieren hilft. Neben vielen Methoden zur Unterstützung der Datenvorbereitung, bietet Azure ML Out of the box auch alle gängigen Machine-Learning-Modelle aus den Gebieten „Supervised“ sowie „Unsupervised Learning“ – von einfachen Classification-Modellen über Neuronale Netzwerke bis hin zum K-Means Clustering. Bereits vorhandene, in R oder Python entwickelten Scripts oder präferierten Modelle kann der Data Scientist ebenfalls einfach integrieren.
Flexibilität bietet Microsoft auch bei der Speicherung des Datenstroms plus Analyseergebnisse. Eine Option ist die Ablage in einem schier unbegrenzten Data-Lake-Speicher, auf dem der Anwender mit Hilfe der „Data Lake Analytics“ und U-SQL weitere Analysen vornehmen kann. Gleichfalls möglich ist eine Speicherung strukturierter Daten in einer Azure SQL-Datenbank oder einem Datawarehouse oder es lassen sich Daten auch direkt für den Endanwender interaktiv visualisiert per „Power BI“ bereitstellen.

Der Weg in die schöne neue Welt ist also keineswegs erschreckend schwierig, sondern mit einem Schritt ist man schon heute mitten drin! Dabei stellen die genannten Möglichkeiten nur ein Bruchteil dessen dar, was mit der „Azure Cortana Intelligence Suite“ bereits heute möglich ist. Für perfekt passende Szenarien sind der Fantasie dabei keine Grenzen gesetzt. Die Experten von QUNIS stehen Ihnen dabei mit Rat und Tat zur Seite! Sei es durch ein kostenfreies Advanced-Analytics-Webinar oder im Rahmen eines Big-Data-Workshops. Wir können Ihnen in jedem Fall dabei helfen, unternehmensspezifische Business Cases zu identifizieren, ein passendes Szenario mit Ihnen abzustimmen und dieses nachfolgend im Rahmen eines Proof of Concept auch gleich zu verproben.

Weitere Beiträge zur Nutzung von Big Data und Advanced Analytics finden Sie auf unserem Blog der Bigdata Factory!