Data Warehouse Archive

Beiträge mit dem Schlagwort Data Warehouse

Vom guten Sinn eines Data Warehouse

Erstellt am: Freitag, 13. Oktober 2017 von Monika Düsterhöft

Natürlich kann ich meine Business Intelligence Reports, Ad-hoc-Abfragen und Analysen, ja sogar Self Service BI direkt auf Basis meines ERP-Systems erstellen bzw. durchführen. Dass diese Praxis jedoch ihre natürlichen Grenzen hat, merke ich spätestens, wenn die ERP-Anwender in Scharen zu mir strömen, um sich über fehlende Performance bei ihren Erfassungsarbeiten zu beschweren.
Oder aber dann, wenn ich – da ich ja für meine Reports nicht nur Daten aus einem System benötige, sondern auch diverse Ergänzungen und Zusatzberechnungen in meinen Reports unterbringen muss – mir ein nahezu unentwirrbares System aus zusätzlicher Logik gebastelt habe, welches ich mir für weitere Auswertungen im schlimmsten Fall immer wieder neu konstruieren muss.

Steigender Aufwand im Reporting ohne ein Data Warehouse

Auch macht mich die stetig zunehmende Aktualisierungsdauer meiner Reports alles andere als glücklich. Dass meine Berichte zwangsläufig immer langsamer laufen, da die Komplexität meiner Abfragen darin stetig zunimmt und ich immer mehr zusätzliche Logik darin verbaut habe, ist mir sehr wohl bewusst. Indes sehe ich bei meiner über die Jahre gewachsenen Landschaft mittlerweile kein Entrinnen mehr. Heißt es nicht: Never change a running System?
Ein weiterer schlimmer Nebeneffekt ist, dass ich einmal erzeugte Reports auf ewig aufheben muss, da ich diese Auswertung im Bedarfsfall nicht mehr zu einem bestimmten Stichtag wiederholen kann, denn die Daten haben sich mittlerweile geändert. Einmal gültige Zuordnungen, beispielsweise von Vertretern zu Kunden, sind Schnee von gestern und heute nicht mehr gleichermaßen zugänglich.

Data Warehouse mit praxiserprobter Methode aufbauen

All dies und noch unzählige weitere gute Gründe sollten Anwender darüber nachdenken lassen, was ein solides Data Warehouse für einen Wert bedeutet. Insbesondere wenn es auf einem so wohldurchdachten und nachhaltigen Konzept wie bei der QUNIS basiert. Zeit also, die eigene Business-Intelligence-Landschaft endlich auf stabile und profitable Beine zu stellen!
Wir von der QUNIS haben aufgrund all dieser Erfahrungen aus unzähligen erfolgreichen Projekten ein „Data Warehouse Framework“ geschaffen, das all die beschriebenen Probleme und Stolpersteine beseitigt. Es umfasst alle notwendigen Strategien und Methoden, mit denen sich die Daten in einem Data Warehouse optimal strukturieren, die bestmögliche Verarbeitungs- und Abfrage-Performance sowie eine umfassende Datenversionierung erzielen lassen, um jederzeit historisch korrekte Reports und vieles mehr zu erzeugen.

Neugierig geworden? Dann lassen Sie sich von unserer ganzheitlichen Methodik überzeugen! Rufen Sie uns doch einfach einmal unverbindlich an oder schreiben Sie uns eine Email! Wir freuen uns auf Ihre Anfrage!

Phone +49 8035 95790 0,
E-Mail info@qunis.de

Der Chief Data Officer – Eine neue Rolle etabliert sich

Erstellt am: Mittwoch, 27. September 2017 von Monika Düsterhöft

Die digitale Transformation von Unternehmen ist eng verknüpft mit der Organisation und Weiterentwicklung des bisherigen Information Managements. Dies führt unter anderem zur Entwicklung neuer Rollen, denen eine strategische Aufgabe bei der Umsetzung zukommt. Damit Daten tatsächlich operativ nutzbar werden, müssen sie auch technisch verfügbar, korrekt und standardisiert (Governance) vorliegen. Um diese Vorgaben umzusetzen und zu überwachen, haben manche Organisationen damit begonnen, die Rolle eines „Chief Data Officers“ (CDO) zu definieren und zu besetzen. Nicht zu verwechseln mit der Rolle eines „Chief Digital Officers“ (ebenfalls CDO abgekürzt) definiert der Datenverantwortliche, wie Daten künftig erfasst, verwaltet, geschützt und letztlich zu Geld gemacht werden sollen. Ob dies in der Praxis bereits gelingt, hat nun die vom US-Anbieter Experian in Auftrag gegebene Umfrage „The Chief Data Officer: Powering business opportunities with data“ näher beleuchtet. 200 CIOs und 50 CDOs aus den USA nahmen laut der Autoren teil. Sie stammen aus Unternehmen mit mehr als 500 Mitarbeitern und aus diversen Branchen. Nachfolgend einige Ergebnisse aus dieser Untersuchung.

Big Data verstärkt den Bedarf an Chief Data Officer

Häufigstes Motiv für die Schaffung einer dedizierten CDO-Rolle ist danach der Wunsch, durch sein Wirken die Nutzung von Big Data profitabel zu machen sowie einen datengetriebenen Ansatz zu finden, der strategische Vorteile schafft, bei gleichzeitig überschaubaren Projektrisiken. Selbst zwei Drittel aller CIOs, in deren Unternehmen bislang keine entsprechende Position existiert, erklärten, dass sie sich mit den oben erwähnten Themen im Datenmanagement überfordert fühlten und daher einen Chief Data Officer begrüßen würden.

Doch Anspruch und Wirklichkeit klaffen in der Praxis offenbar noch häufig auseinander – was angesichts der noch „jungen“ Rolle nicht verwundert. So erklärte fast jeder zweite CDO, er habe seine Positionen angetreten, ohne dass der Aufgabenbereich und die Verantwortlichkeiten zuvor geklärt worden seien. Zwar wären im weiteren Verlauf der Karriere bei etwa 40 Prozent der Befragten die ebenfalls knappen Ressourcen und Budgets etwas aufgestockt und auch der bis dato meist beschränkte Zugriff auf die Datenhaltungen gelockert worden. Viele würden sich aber bis heute nicht mit der innovativen Nutzung von Daten beschäftigen, sondern müssten vor allem Projekte zur Kostenersparnis treiben.

Die Gründe für diesen Widerspruch führen die Autoren nicht allein auf unklare Rollendefinitionen zurück, sondern auch auf die Tatsache, dass in vielen Organisationen das Datenmanagement grundsätzlich noch erhebliche Defizite aufweise. So sehen laut Umfrage insbesondere die CIOs im fehlenden Datenzugriff das häufigste Hindernis auf dem Weg zu einer stärker datengetriebenen Organisation. Die von den CDOs beklagten schmalen Budgets würden Investitionen in entsprechende Dateninfrastrukturen erschweren, und es fehle nach Ansicht vieler Befragter an Skills in den Unternehmen. Daran könnte auch ein Chief Data Officer so schnell nichts ändern (Hilfe bei der Schaffung einer gemeinsamen, performanten Datenarchitektur für Big Data und Data-Warehouse-Systemen bietet die praxiserprobte QUNIS-Methodik).

Chief Data Officer – eher operativ oder strategisch tätig?

Hinzu kommt, dass sich der CDO in der Praxis offenbar häufig in einer schwierigen Position zwischen IT und Fachbereich befindet. Während die Business User immer lauter über den fehlenden Datenzugang klagten, müsse der CDO oft erst bei der IT anfragen, um hier Änderungen zu bewirken, so die Autoren. Diese könne oft Stunden oder gar Tage dauern. Zudem werde sich der Druck auf den Chief Data Officer in den kommenden zwei Jahren weiter verstärken, da Themen wie Datenschutz, die rasante technologische Entwicklung und steigende Kundenerwartungen viel Arbeit machten. QUNIS kann diese sehr operativ beschriebene Arbeitsweise eines CDOs aus ersten Kundenprojekten in Deutschland nicht bestätigen. Vielmehr stehen nach unserer Erfahrung eindeutig strategische Aufgaben im Vordergrund.

Konkurrenz zwischen Chief Data Officer und CIO

Viele CDOs beklagten in der Umfrage zudem, dass sie nicht zum C-Level gehörten, sondern häufig nur ein Junior Partner für das Top-Management seien. Auch bei den CIOs scheint diese Einstufung immer mehr zu überwiegen. So sahen vor zwei Jahren in einer vergleichbaren Umfrage von Experian noch 16 Prozent mehr von ihnen den CDO als gleichrangigen Kollegen an als es jetzt der Fall ist. Ob diese Zurückstufung eher strategische, organisatorische oder vielleicht finanzielle Gründe hat, vermochten die Autoren nicht sicher zu sagen. Bei der QUNIS können wir diese Konstellation innerhalb der Hierarchie bislang nicht bestätigen. Vielmehr genießen die uns bekannten CDOs ein hohes Ansehen im Management und übernehmen strategische Aufgaben, die als sehr sinnvoll für die Organisation betrachtet werden. Möglich aber, dass in manchen der befragten Unternehmen eine Konkurrenzsituation zwischen CIO und CDO dahinter steckt. So bezeichneten über 40 Prozent der CDOs ihr Verhältnis zum CIO als „distanziert“ oder „nicht existent“. Umgekehrt bewerteten über 60 Prozent der CIOs ihre Beziehung zum Chief Data Officer als „positiv“, also in ihrem Sinne. Aktuell berichten etwa 40 Prozent der CDOs an den CEO, über die Hälfte hingegen an die IT oder Leiter von Geschäftsbereichen.

Business Intelligence – No Cloud, Hybrid oder All Cloud?

Erstellt am: Donnerstag, 21. September 2017 von Monika Düsterhöft

Schaut man sich die aktuelle Situation bei Kunden an, so finden sich sehr unterschiedliche Szenarien für den Betrieb der Business-Intelligence-Lösungen. Das reicht von No Cloud über Hybrid bis hin zu All-Cloud-Strategien. Sobald das Thema Cloud ins Spiel kommt, ist zudem zwischen einer „Plattform as a Service“ (PaaS) und „Infrastructure as a Service“ (IaaS) zu unterscheiden. IaaS ist vergleichbar mit einer Virtuellen Maschine (VM). Der Anwender bekommt einen virtuellen Server, muss sich aber immer noch um alles selber kümmern (Installation, Wartung, Konfiguration etc). Bei PaaS erhält er hingegen ein Stück Software, wofür er sonst eine VM oder physikalischen Server hätte aufsetzen müssen, als fertig nutzbare Komponente. Das kann zum Beispiel eine relationale Datenbank sein. Im Fall von PaaS muss sich der Kunde also nicht um die Installation, Wartung, Konfiguration etc. kümmern.

Business Intelligence als On-Premises-Lösung

Bei No-Cloud-Anwendern wird heute immer noch alles On-Premises abgebildet. Dies ist immer noch die häufigste Lösung für BI-Systeme beim Kunden. Dieser Ansatz schließt nicht nur die BI-Lösung, sondern auch anderen Systeme ein. Je nach Bedarf wird dabei die notwendige Infrastruktur für das BI-System durch physikalische oder virtualisierte Server zur Verfügung gestellt. Unternehmen, die auf dieses Szenario setzen, starten gerne virtualisiert, um sich einen Eindruck von der maximalen Performance und Wartbarkeit der Lösung verschaffen zu können. Genügt diese nicht, bleibt die Option, später auf physikalische Server umzustellen. Dieses Vorgehen ist bei No Cloud meiner Meinung nach auch zu empfehlen, weil man virtuell schneller auf Anforderungen reagieren kann und meistens keine neue Hardware anschaffen muss. Ist hingegen absehbar, dass die geplante Lösung virtuell nicht abbildbar ist, startet man natürlich gleich mit physikalischen Servern.

Nach den konkreten Gründen für No Cloud gefragt, erhält man unterschiedliche Antworten. So kann es sich zum Beispiel um Daten handeln, die aus Gründen des Datenschutzes oder aufgrund von Unternehmensrichtlinien nicht außerhalb des Unternehmens gespeichert werden dürfen. Oder aber das Dritte solche Vorgaben machen (Gesetzgeber, Verbände, etc.). Ebenso erfährt man, dass die Option gewählt wurde, weil man sich mit dem Thema noch nicht ausgiebig beschäftigt hat oder das Know-how im Hause fehlt. Die Beratungspraxis zeigt hier aber, dass Unternehmen immer mehr eine Öffnung für die Cloud vornehmen, wenn man ihnen fachliche und organisatorisch zur Seite steht (einen Einblick in die weltweite Nutzung von Cloud-Diensten für Business Intelligence und Data Warehousing finden Sie hier) .

Cloud und On-Premises – Hybridlösung für Business Intelligence

Eine zweite Gruppe an Unternehmen setzt bis dato auf Hybrid-Lösungen. Hierbei werden Teile der BI-Gesamtlösung in die Cloud verlagert. Das können Komponenten sein, die nur in der Cloud erhältlich sind, wie zum Beispiel spezielle Frontends mit besonderen Features. Oder der Anwender nutzt Teil der Lösung in der Cloud, weil er sie in der Form, Flexibilität, Qualität (Know-how) und Verfügbarkeit nicht On-Premises betreiben kann. Beim Beispiel Frontend in der Cloud bleibt die Datenhaltung und Bewirtschaftung On-Premises, während der Zugriff auf die Daten für Analysezwecke über die Cloud stattfindet. Diese Lösung findet man in der Tat immer häufiger beim Kunden.

Business Intelligence komplett in der Cloud

Unternehmen mit einer All-Cloud-Strategie wollen die gesamt BI-Lösung in der Cloud abbilden und nichts davon On-Premises betreiben. Datenhaltung, Bewirtschaftung und Analysemöglichkeiten werden durch Cloud-Komponenten zur Verfügung gestellt. Sofern die Vorsysteme (ERP, CRM, etc.) nicht auch in der Cloud laufen, erfolgt die Anbindung zwischen Cloud und On-Premises-Umgebung meist über Tunnel-Technik (VPN). Dieses Szenario wird meiner Ansicht nach die Zukunft sein. Zum einen hat die Cloud in der Vergangenheit enorme Fortschritte gemacht und bietet immer mehr Möglichkeiten für den Betrieb von Anwendungen und Infrastruktur. Zum anderen steigen mit der Nutzung und Kombination von Big Data, Machine Learning und Business Intelligence die Anforderungen und erfordern sehr viel Know-How und Infrastruktur, um entsprechende Lösungen On-Premises abzubilden. In dem Fall kann die Cloud viele Vorteile bieten. Im Einzelnen nennen Kunden folgende Vorteile, die sie in Cloud-Lösungen sehen:

Skalierbarkeit / Flexibilität
Verfügbarkeit
Konzentration auf Kernkompetenzen / Know-how im eigenen Team
Einsparung bzw. bessere Nutzung von Ressourcen
Kosten
Sicherheit
Softwareaktualität
Spezielle Features (z.B. Georedundanz)

Herausforderungen und Umsetzung von BI-Cloud-Lösungen

Aber natürlich bringt wie jedes Szenario auch die Cloud-Nutzung ihre Herausforderungen mit sich. Diese beginnen damit, dass ein Unternehmen die passende Cloud-Strategie für sich finden muss. Ebenso gilt es, den richtigen Cloud-Anbieter und die passenden Komponenten zu finden. Die Möglichkeiten sind heute vielfältig, zumal sich die Cloud-Dienste verschiedener Anbieter auch kombinieren lassen. Ist eine strategische Entscheidung gefallen, stellen sich bei der Umsetzung typische Fragen:

Wie bringt man die On-Premises-Infrastruktur mit der Cloud zusammen?
Wie integriert man die Cloud Komponenten in die BI-Lösung?
Wie stellt man Autorisierung und Authentifizierung sicher?
Wie gut ist die Netz-Anbindung an die Cloud?
Wie bekommt man das Know-how ins Team?
Wie flexibel und mit welchem Aufwand lassen sich Standard-Cloud-Lösungen an Kundenwünsche anpassen?

Eine fertige, vollumfängliche und rein auf Standards basierende Cloud-Lösung für Business Intelligence gibt es meines Wissens bislang noch von keinem Hersteller. Doch sind viele Komponenten erhältlich, die man als Unternehmen je nach Bedarf dafür einsetzen kann – vorausgesetzt man verfügt über das Wissen, die passenden Komponenten richtig einzusetzen. So gibt es in Microsoft Azure einige Komponenten, die sich für eine reine BI-Cloud-Lösung verwenden lassen. Aber auch hier braucht man eine klare Vision, wie die Lösung aussehen soll, damit es am Ende funktioniert. Hier gibt es Abhängigkeiten und Grenzen, die zu beachten sind. QUNIS hat dank langjähriger Praxiserfahrung mit seinem „Data Warehouse Framework“ (DWH-Framework) ein Angebot entwickelt, das die Essenz all unserer Best Practices, Strategien, Methoden und Techniken zum Aufbau eines hochqualitativen, performanten und vor allem stabilen Data Warehouse vereint. Gemeinsam mit Microsoft haben wir dazu auch ein Architektur-Bild auf Basis der Azure-Komponenten entwickelt, welche den Anforderungen an eine moderne und zukunftssichere BI-Lösung in der Cloud gerecht wird. Darüber hinaus haben wir dieses Architektur-Bild in Azure mit unserem DWH-Framework umgesetzt und verprobt. Der Anpassungsaufwand am DWH-Framework war wider Erwarten gering. Bis auf ein paar Fallstricke funktionierte das meiste ohne große Anpassungen.

Möchten Sie Näheres zum DWH-Framework sowie zur Definition und Umsetzung von Cloud-Strategien erfahren. Dann kommen Sie gern auf uns zu!

Business Intelligence und Data Warehousing in der Cloud auf dem Vormarsch

Erstellt am: Donnerstag, 14. September 2017 von Monika Düsterhöft

Ob Analyse und Reporting oder Data Warehousing: die Nutzung von Cloud-Dienste in der Verwaltung und Auswertung von Unternehmensdaten etabliert sich. Dies können wir auch aus den QUNIS-Kundenprojekten berichten, in denen immer öfter neue Anwendungen für Big Data und Advanced Analytics oder klassisches Data Warehousing in der Cloud (Microsoft Azure) entstehen.
Ein Stimmungsbild zur Cloud-Nutzung gab kürzlich auch die Online-Umfrage „BI and Data Management in the Cloud: Issues and Trends“ vom BARC und der Eckerson Group. Danach gaben 43 Prozent der 370 Unternehmensvertreter an, bereits heute zumindest Teile ihrer Business-Intelligence- oder Daten-Management-Vorhaben mit Hilfe von Cloud-Diensten umzusetzen. Die größte Gruppe unter den Teilnehmer der Umfrage stammten nach Region aus Europa (47 Prozent) und Nordamerika (37 Prozent).

Business Intelligence Tools am häufigsten in der Cloud

Von den rund 160 Cloud-Nutzern erklärte über die Hälfte, sie würde Business-Intelligence-Werkzeuge (62 Prozent) und -Server (51 Prozent) nutzen. Stark zugenommen hat in den letzten drei Jahren auch der Einsatz von Tools für die Datenexploration (49 Prozent). Die Gründe hierfür lägen laut der Autoren in der allgemein zunehmenden Verbreitung solcher Werkzeuge sowie dem großen Interesse insbesondere unter den „Power Usern“ an solchen visuellen Tools. Power User seien aktuell die stärkste Nutzergruppe von Cloud-Lösungen. Werkzeuge für Advanced Analytics werden in jedem vierten Unternehmen in der Cloud betrieben. Auf dem Gebiet des Datenmanagements in der Cloud dominieren Data-Warehouse-Systeme (42 Prozent) vor Datenintegrationswerkzeugen (35 Prozent).

Public Cloud bevorzugt

Beim Betrieb von Cloud-Lösungen setzen Unternehmen laut Umfrage vor allem auf die „Public Cloud“, während interne Systeme („Private Cloud“) oder hybride Ansätze weniger oft genannt wurden. Public Clouds (wie der Microsoft Azure Stack) sind einfach und vergleichsweise kostengünstig nutzbar, während im Vergleich dazu intern aufgebaute Lösungen von hohen Infrastrukturinvestitionen begleitet sind. Hybride Ansätze, so die Autoren, wären zudem schwieriger zu verwalten und würden Sicherheitsbedenken auslösen, weil sich beispielsweise ein BI-Anwendung in der Cloud durch die Unternehmens-Firewall mit der internen Lösung verbinden (Tunneling) muss.

Einen praxisorientierten Einblick in die derzeitige Cloud-Nutzung für Business Intelligence und Datenmanagement gibt Ihnen unser Blog-Beitrag Business Intelligence – No Cloud, Hybrid oder All Cloud?

Megatrend Digitalisierung

Erstellt am: Freitag, 1. September 2017 von Monika Düsterhöft

Großer Bahnhof auf dem diesjährigen Kundentag „QUNIS Day“ in Neubeuern. Mit neuem Besucherrekord und aufgeräumter Stimmung ging es am Morgen in die Konferenz, in deren Mittelpunkt Best Practices für Business Intelligence, Big Data und Advanced Analytics sowie der fachliche Austausch stehen. Unter dem Motto „Innovation Now“ erläutern Senior Analysten sowie unsere Kunden Henkel und Südpack wie sich die allgegenwärtige digitale Transformation der Unternehmen aktuell darstellt.

Großes Anwendertreffen zu Business Intelligence, Big Data und Advanced Analytics auf dem QUNIS Day 2017. Quelle: QUNIS

Geschäftsführer Hermann Hebben konnte zum Auftakt das erfolgreichste Geschäftsjahr seit Firmengründung 2013 verkünden. Mittlerweile werden über 150 Unternehmen im Mittelstand und Konzern betreut und auch die Belegschaft sei in den letzten zwölf Monaten um 73% gewachsen. Auch wirtschaftlich stehe das Beratungshaus sehr gut dar. Hebben betonte aber, dass man weiterhin auf die Kernkompetenz setzen werde, statt neue Beratungsfelder um jeden Preis anzugehen: „G´scheid oder gar ned!“.

Data Warehouse schneller und performant aufbauen

In den letzten zwölf Monaten wurden viele erfolgreiche Projekte umgesetzt. Die Strategieberatung bleibt dabei von zentraler Bedeutung, um ein Fundament für erfolgreiche Initiativen zu legen. Mit Blick auf die Umsetzung von Anforderungen hat QUNIS sein im Markt einmaliges „Data Warehouse Framework“ weiterentwickelt und in vielen Data-Warehouse-Projekten eingesetzt. Ferner wird auf dem QUNIS Day mit der „QUNIS Automation Engine“ erstmals im Plenum eine neue Methode und Technik vorgestellt, mit der sich die Beladung eines Data-Warehouse-“Core“ automatisieren lässt. Gut entwickle sich laut Hebben auch die Schwesterfirma GAPTEQ, die sich nach ihrem Start im September 2016 mittlerweile gut im Markt etabliert hat.

Digitalisierung verändert das Datenmanagement und Datenanalyse

All diese Entwicklungen erfolgen wie erwähnt in einem Marktumfeld, das sich für Unternehmen durch die Digitalisierung aktuell radikal verändert. Beispielhaft stellte Geschäftsführer Steffen Vierkorn vier Megatrends vor, die mit der Digitalisierung verknüpfte sind: Globalisierung, Mobilität, Konnektivität und Individualisierung. Die Technologie werde immer mehr zum Treiber von Veränderungen. Besonders sei dies bei der Nutzung von Cloud-Diensten und Komponenten wie „Microsoft Azure“ zu beobachten sowie bei der Vernetzung von Geräten (Internet of Things). Jenseits der Vorstellungskraft lägen mittlerweile die entstehenden Datenmengen. Bis 2025 sei mit 163 Zetabyte zu rechnen, so Vierkorn, die auf etwa 40 Billionen DVDs Platz hätten!

Veränderungen seien auch mit Hinblick auf die Datennutzung und -analyse bei der Produktentwicklung und Geschäftsbeziehungen zu beobachten. Die Rolle von Business Intelligence. Big Data und Advanced Analytics nehme in diesem Szenario weiter zu. Viele Unternehmen versuchten aktuell die Analytik in den Griff zu bekommen. In diesem Zusammenhang stellte Vierkorn das Data-Lake-Konzept der QUNIS vor.

Ein Beispiel für die Nutzung Künstlicher Intelligenz war auf dem QUNIS Day am Beispiel eines Fahrzeugs zu sehen, das neben Gesichtserkennung auch Objekten beim Fahren ausweichen kann. Quelle: QUNIS

Die dazugehörige Architektur, die traditionelle Data-Warehouse-Welt und die Nutzung von Big Data methodisch und technologisch verknüpfen hilft, wurde auf der Veranstaltung ausführlich vorgestellt. Die Auswirkungen seien auch organisatorisch groß. So würde es künftig mehr und neue Rollen im Team geben müssen, um die unterschiedlichen Anforderungen abdecken zu können.

QUNIS Day 2017 Steffen Vierkorn und Patrick Eisner vom QUNIS-Management.

Ein Starter Kit für das „State of the Art“ Data Warehouse

Erstellt am: Donnerstag, 27. April 2017 von Monika Düsterhöft

Das Data Warehouse fasziniert mich unverändert stark seit Anbeginn meines professionellen Lebens – und das sind mittlerweile immerhin schon über 25 Jahre! Das vielleicht Bestechendste an ihm ist, dass es über die Jahre nichts von seiner hohen Relevanz für Unternehmen verloren hat, die durch es fundierte und lukrative Geschäftsentscheidungen treffen können.
Seine Unverzichtbarkeit wird dabei sofort klar, wenn man betrachtet, was es per se ist: ein strukturiertes, konsolidiertes, stabiles und stets aktuelles Fundament, dessen Bestimmung es ist, aus all den verschiedenen Daten eines Unternehmens wertschaffende Informationen zu machen. Vor allem aber – und gerade heutzutage immens wichtig – ist es nicht zuletzt auch essentieller Basisbaustein für alle Advanced Analytics oder Big Data Vorhaben.

Probleme bei schlecht aufgebauten Data Warehouse Lösungen

Und wenn man mal genau hinschaut, besitzt auch jedes Unternehmen de facto ein Data Warehouse, wenn nicht gar mehrere. Denn alle Versuche, Daten aus den ERP- und anderen Systemen regelmäßig gesammelt zu extrahieren und in einer anderen Anwendung aufzubereiten, um damit eine Auswertung zu machen, sind Praktiken, die eindeutig dem Datawarehousing zuzuordnen sind. Allerdings kann mangelnde Professionalität beim Umgang mit ihnen zu vielen Problemen führen. Diese reichen von einer mangelnden Revisionssicherheit, über sich verselbständigende und mannigfaltig verschiedentlich interpretierte Geschäftsregeln, multiple und subjektiv getriebene Interpretationen der Unternehmenskennzahlen bis hin zu historisch gewachsenen, heterogenen Landschaften, deren Entwirrung sich niemand mehr zutraut.
Ein gleichermaßen professionell fundiertes, hochqualitatives wie auch effizientes Vorgehen mit Blick auf bester Performance ist somit unverzichtbar, will man einen Datenpalast und nicht eine windschiefe Informationshütte bauen. Und so wie es beim Bau eines Palastes in vielen Jahrhunderten bewährte Praktiken und Strategien gibt, so gibt es beim Bau eines Data Warehouse in vielen Jahren bewährte Best Practices, Strategien und Techniken, die bei fachgerechter Anwendung zum Erfolg führen.

Geballtes Wissen und Best Practices für das Data Warehouse

So haben wir mit dem “QUNIS Data Warehouse Framework“ ein Rahmenwerk, also ein Framework geschaffen, das aus vielen grundsoliden Bausteinen für den Bau eines „State of the Art“ Data Warehouse besteht, das die Essenz all unserer Best Practices, Strategien, Methoden und Techniken enthält. Mit Hilfe dieses Baukastens ist es nicht nur möglich, ein hochqualitatives, performantes und vor allem stabiles Data Warehouse in kürzester Zeit zu schaffen – etwas, was bis vor kurzem noch als langjähriges Projekt und für kleine Unternehmen unvorstellbar galt – sondern sich – was vielleicht sogar noch wichtiger ist – auf einen sicheren Erfolg und schnellen ROI verlassen kann.
Wir haben an alles gedacht, auf was es beim Datawarehousing und zugehöriger Datenbewirtschaftung ankommt. Das „QUNIS Data Warehouse Framework“ bietet viele Benefits, angefangen bei der Konsolidierung, Plausibilisierung und Konsistenzprüfung der Quellsystemdaten über die attributgenaue Historisierung, bis hin zur passgenauen Bereitstellung fach- oder themenspezifischer Data Marts mit zahlreichen verwaltungs- und wartungsoptimierenden Leistungsmerkmalen.

Data Warehouse auch für kleine und mittelständische Unternehmen

Mit diesem Baukasten ist es nun auch kleinen und mittelständischen Unternehmen ein Leichtes, sich ein eigenes und vor allem mittelfristig enorm kostensparendes Data Warehouse zu entwickeln, das die Konkurrenzfähigkeit am Markt enorm steigern kann – insbesondere und mit immer zunehmender Bedeutung im heutigen Informationszeitalter. Das Bestechende an diesem Baukasten ist seine modulare Struktur sowie das große Maß an Flexibilität, das damit möglich bleibt. Ganz bewusst handelt es sich um ein Data Warehouse Framework. Auf das stabile Fundament, das Core bzw. also Herz des Data Warehouses ist unbedingt Verlass, die dekorative Verzierung in Form von Data Marts ist in hohem Masse individuell gestaltbar, ohne jedoch auch hier auf Stabilität, bewährte Vorgehensmodelle und Best Practices zu verzichten. Weitere Informationen zum QUNIS Data Warehouse Framework finden Sie hier.

Die Experten von QUNIS stehen Ihnen darüber hinaus bei der Realisierung Ihres BI oder Big Data-Vorhabens jederzeit mit Rat und Tat zur Seite! Sei es durch eines unserer zahlreichen kostenfreien Webinare oder im Rahmen eines BI oder Big Data-Workshops. Wir können Ihnen in jedem Fall dabei helfen, unternehmensspezifische Business Cases zu identifizieren, ein passendes Szenario mit Ihnen abzustimmen und dieses nachfolgend im Rahmen eines Proof of Concept auch gleich zu verproben.

Mehr Business Intelligence und Datenmanagement in der Cloud

Erstellt am: Montag, 20. März 2017 von Monika Düsterhöft

Das Interesse an der Nutzung von Software für Business Intelligence (BI) und Datenmanagement (DM) in der Cloud wächst. Zu diesem Schluss kommt eine internationale Umfrage vom BARC und der Eckerson Group. Teilnehmer waren laut der Autoren 370 IT-Verantwortlichen aus Anwenderunternehmen, die Business Intelligence und Datenmanagement im Einsatz haben. Danach ist in den Jahren 2013 bis 2016 der Einsatz entsprechender Cloud-Lösungen von 29 Prozent auf 43 Prozent der offenbar in diesem Vergleichszeitraum befragten Unternehmen gestiegen. Dies wäre eine Steigerung von 50 Prozent über die letzten drei Jahre.

Als wichtigste Vorteile von BI- und DM-Lösungen aus der Cloud nennen die Befragten die Flexibilität, geringeren Kosten (Keine Installation, keine Hardwarekosten u.a.) und Skalierbarkeit (nach Bedarf), die solche Angebote mit sich bringen. Der von den Studienteilnehmern mit Abstand am häufigste genannte Anwendungsfall von Cloud-BI-Werkzeugen ist die Bereitstellung von Reports und Dashboards (76 Prozent) – typischerweise ein Einsatzfeld für gelegentliche Nutzer.

Ad-hoc Analysen, Reporting und Dashboards in der Cloud

Viele Tätigkeiten in der Cloud ausgeführt sind aber laut der Autoren deutlich komplexer und werden vor allem von erfahrenen Power Usern vorgenommen. Letztere sind auch die häufigsten Nutzer von Cloud-Lösungen, denen es im Vergleich zu den gelegentlichen und ggf. weniger versierten Nutzern leichter fällt, sich für die Software-as-a-Service (SaaS) BI-Lösung ein Konto einzurichten, Daten hochzuladen sowie Daten zu analysieren und visualisieren. Am häufigsten werden Tools für Ad-hoc-Analysen (57 Prozent), das Erstellen von Reports und Dashboards (55 Prozent), für Data Preparation (39 Prozent) sowie Advanced- und Predictive Analytics (23 Prozent) genutzt.

Der Aufbau Cloud-basierter Data-Warehouse-Lösungen, von Data Marts oder die Nutzung von Datenintegrationswerkzeugen erfolgt hingegen bis dato im Vergleich zu den BI-SaaS-Anwendungen noch seltener. Den Grund dafür wollen die Autoren darin sehen, dass für den Aufbau solcher DM-Umgebungen mehr Aufwand in die Bereitstellung von Infrastruktur- und Plattform Services zu leisten sei. Hinzu kämen Anforderungen in punkto Sicherheit, Datenschutz sowie interne Auseinandersetzungen, die einer Verlagerung in die Cloud erschweren. QUNIS hilft Unternehmen beim Aufbau von BI- und Big-Data-Lösungen in der Cloud, beispielsweise mit Microsoft Azure Cloud, und hat dabei gute Erfahrungen gemacht. So lassen sich die benötigten Komponenten schnell und kostengünstig installieren und die Bandbreite der verfügbaren Infrastrukturkomponenten bis hin zu Umgebungen für Machine Learing ist heute bereits sehr groß. Weitere Informationen finden Sie hier.

Business Intelligence in der Public Cloud

Fast die Hälfte der Unternehmen, die Cloud BI nutzen, verwenden die Public Cloud (46 Prozent) für BI und Datenmanagement, weniger als ein Drittel (30 Prozent) setzt auf die Hybrid Cloud und 24 Prozent nutzen die Private Cloud. Die Public Cloud werde laut Studie hauptsächlich von Organisationen vorangetrieben, die BI-Umgebungen erstellen möchten, die keine On-Premise-Daten erfordern, und von Organisationen, die die Cloud verwenden, um ältere Data Warehouses zu ersetzen, erklärten die Autoren. Mit der Cloud lagern Unternehmen ihre Hardware-Infrastruktur automatisch an einen Dritten aus. Aber viele Unternehmen gehen noch weiter. Fast zwei Drittel der Befragten setzen beim Hosting ihrer Cloud-BI-Lösung auf BI- oder DM-Anbieter. Ein Viertel lässt seine Cloud-BI-Umgebung extern betreiben und verwalten, 16 Prozent lassen ihre Cloud-BI-Anwendung sogar von den Anbietern entwickeln.

Die gesamte Studie kann bei Sponsoren wie Jedox kostenfrei nach der Registrierung heruntergeladen werden.

Partitionierung des MS SQL Servers für das Data Warehouse – Teil 2

Erstellt am: Freitag, 16. Dezember 2016 von Monika Düsterhöft

Nach einem ersten Überblick und Erläuterungen zum Partition Switching im ersten Teil des Blog-Beitrags, geht es nun darum, was benötigt wird, um eine Partitionierung vorzunehmen. Unter dem Gesichtspunkt, die von Natur aus komplexen DWH-Verarbeitungsroutinen nicht noch unnötig zu verkomplizieren, bietet sich hierfür ein praktikables, schlankes und modular gehaltenes Umsetzungskonzept an, das aus nachfolgend aufgeführten Komponenten besteht.

Administrativen Aufwand bei der Partitionierung kleinhalten

Von zentraler Bedeutung für den Betrieb ist, dass keine regelmäßigen administrativen Eingriffe nötig sind, etwa um neue Partitionen anzulegen, sondern, dass automatisch ausgeführte Routinen dieses übernehmen. Basis für dieses Konzept ist, dass sämtliche partitionierte Tabellen dasselbe Partitionsschema und dieselbe Partitionsfunktion nutzen (oder falls doch nötig: möglichst wenig davon). Das Ganze sollte sogar soweit gehen, dass die OLAP Measure Groups auf die gleiche Weise partitioniert sind, wie die relationalen DWH-Tabellen.

Bausteine eines Partitionierungskonzepts

Folgende modulare Bausteine sollte Ihr Partitionierungskonzept etwa beinhalten:

eine Importsteuerungstabelle, die für sämtliche Faktendaten, die auf Basis eines Importdatums inkrementell importiert werden, Steuerungsmöglichkeiten für entsprechende Anwender erlaubt, wie einmaliger Import von Datum x, danach wieder y Tage rollierend oder dauerhaft ab Datum z usw.;
eine Handvoll Sichten, die Ihnen Infos zu Dimensionen / Measure Groups (beides basierend auf sog. Dynamic Management Views (DMV) auf Grundlage eines eingerichteten Verbindungsservers zu Analysis Services) und Partitionen / Partitionsgrenzen liefern – diese sind für den allgemeinen Überblick sinnvoll und finden in den nachfolgend aufgeführten Routinen Verwendung;
eine zentrale interne Routine (gespeicherte Prozedur), die auf Basis übergebener Parameter das Partition Switching für die relevanten Partitionen einer Faktentabelle vornimmt (in/out), sowie bei inkrementellen Importprozessen, die auf einem Importdatum basieren, die entsprechenden Fakten, die neu eingelesen werden, löscht (auf Basis der obigen Importsteuerungstabelle);
eine manuell aufzurufende Routine, die für neu erstellte Measure Groups basierend auf partitionierten Faktentabellen die Partitionierung – gültig nach aktuellem Stand – einrichtet (auf Basis von XMLA-Code via Verbindungsserver);
eine Routine für die nächtliche Datenverarbeitung, die sämtliche Dimensionen parallel verarbeitet (process update) und anschließend alle nicht partitionierten Measure Groups sowie alle relevanten Partitionen partitionierter Measure Groups parallel verarbeitet (auf Basis von XMLA-Code via Verbindungsserver sowie der Importsteuerungstabelle);
eine Routine, die auch mehrfach am Monatsanfang ablaufen kann und wiederholt nachsieht, ob es in der obersten (nach oben hin nicht begrenzten Partition) bereits Daten gibt. In diesem Fall werden alle nötigen Maßnahmen durchgeführt, die relationalen wie auch die multidimensionalen Partitionen anzulegen und zu verarbeiten.

Ein Tipp für die Praxis: Achten Sie penibel auf die Benennung der Dimensionen, Cubes und Measure Groups, denn DMVs liefern grundsätzlich den Namen dieser Objekte, während über XMLA die internen IDs dieser Objekte angesprochen werden müssen. Umbenennungen der IDs sind hier aufwändig.

Vorteile der multidimensionalen Partitionierung

Bleibt noch auszuführen, welche Vorteile die multidimensionale Partitionierung u.a. bietet: Sie erlaubt es, den Caching-Mechanismus zu optimieren. Während eine unpartitionierte Measure Groups mit der nächtlichen Verarbeitung aus dem Arbeitsspeicher entfernt wird, bleiben bei partitionierten Measure Groups die nicht-verarbeiteten Partitionen im Arbeitsspeicher vorhanden. Weiterhin beschränkt sich die Verarbeitung auf relevante Partitionen, während historische Partitionen nicht immer wieder neu verarbeitet werden müssen.

Weitere Informationen: Im Rahmen der QUNIS Beratung für Data Warehousing geben wir unseren Kunden auch Tipps zur Performance-Optimierung ihres Microsoft SQL Servers. Dabei spielt die richtige Partitionierung eine wichtige Rolle.

Partitionierung des MS SQL Servers für das Data Warehouse – Teil 1

Erstellt am: Freitag, 9. Dezember 2016 von Monika Düsterhöft

Im Rahmen der QUNIS Beratung für Data Warehousing geben wir unseren Kunden auch Tipps zur Performance-Optimierung ihres Microsoft SQL Servers. Dabei spielt die richtige Partitionierung eine wichtige Rolle. Grundsätzlich ist eine Partitionierung sowohl relational wie multidimensional möglich. Während Letzteres häufiger Einsatz findet, ist gerade die relationale Partitionierung bei zeitintensiven Data-Warehouse-Verarbeitungsroutinen ein effektvolles Mittel zur Laufzeitverbesserung. Die relationale Partitionierung findet auf Tabellen Anwendung und bedeutet faktisch, dass die Tabelle physisch in einzelne Fragmente aufgeteilt wird. Es handelt sich aber nach wie vor logisch und abfragetechnisch um eine (1!) Tabelle.

Die einzelnen Fragmente sind die Partitionen. Diese können auf unterschiedlichen Dateigruppen liegen, was durch das Partitionsschema definiert ist. Wichtiger für das Verständnis ist jedoch, dass jeder Datensatz eindeutig zu einer bestimmten Partition zugeordnet werden kann. Das ist über die Partitionsfunktion einzustellen. Dazu ist ein Feld der Tabelle festzulegen, dessen Inhalt dieses für jeden Datensatz bestimmt, beispielsweise ein Datum. So ließe sich in der Partitionsfunktion für Data-Warehouse-Fakten festlegen, dass historische Daten in Jahrespartitionen und aktuelle Daten in Monatspartitionen abgelegt werden.

Partition Swichting zur Performance-Steigerung
Um auf dieser Basis tatsächlich signifikante Performance-Verbesserungen in der Data-Warehouse-Verarbeitung erzielen zu können, ist ein weiterer Aspekt zu beachten. Die alleinige Partitionierung hat keinerlei Effekt, wenn SQL-Server die anzusprechenden Partitionen nicht auf Basis des entsprechenden SQL-Statements ableiten kann. Daher ist bei der Erstellung der SQL-Anweisungen besondere Acht geboten. Um diese Gefahr auszuschalten, sollte alternativ zum Mittel des Partition Switching gegriffen werden. Hierbei werden einzelne Partitionen aus der Data-Warehouse-Tabelle in eine Arbeitstabelle für die Verarbeitung (löschen, einfügen, aktualisieren) herausgelöst (Switch out). Bedenken Sie hierbei, dass keinerlei Daten physisch bewegt werden, sondern dass die einzelnen Datenseiten in den Metadaten als zugehörig zur Arbeitstabelle statt zur Data-Warerhouse-Tabelle deklariert werden. Dadurch ist ein solches Partition Switching auch eine Angelegenheit eines Bruchteils einer Sekunde, egal wie viele Datensätze betroffen sind. Nach der Verarbeitung erfolgt das Partition Switching in umgekehrter Richtung (Switch in).

Wann lohnt sich Partition Switching?
Ab wann lohnt sich der Aufwand der Partitionierung verbunden mit Partitionsschema, Partitionsfunktion, zusätzlicher Arbeitstabelle und Partition Switching? Zunächst muss ein gewisses Datenvolumen vorhanden sein, ab dem es sich überhaupt lohnt, über den Einsatz nachzudenken. Die Angaben hierzu schwanken zwischen 20 und 60 Millionen Datensätze pro Tabelle. In der Praxis beschränkt sich das folglich auf Faktendaten. Sollten Sie also eine oder mehrere Faktentabellen in dieser Größenordnung und gleichzeitig Laufzeitprobleme in der Verarbeitung haben, lohnt sich der Einsatz der Partitionierung, die allerdings ausschließlich in der Enterprise Edition (gilt für relationale Partitionierung) verfügbar ist.

Was ist also nötig für einen Einsatz der Partitionierung auf relationalen Fakten und OLAP-Measure Groups? Lesen Sie weiter im zweiten Teil des Beitrags!