Archiv für die Kategorie Data Warehouse

Business Intelligence und Data Warehousing in der Cloud auf dem Vormarsch

Erstellt am: Donnerstag, 14. September 2017 von Sascha

Ob Analyse und Reporting oder Data Warehousing: die Nutzung von Cloud-Dienste in der Verwaltung und Auswertung von Unternehmensdaten etabliert sich. Dies können wir auch aus den QUNIS-Kundenprojekten berichten, in denen immer öfter neue Anwendungen für Big Data und Advanced Analytics oder klassisches Data Warehousing in der Cloud (Microsoft Azure) entstehen.
Ein Stimmungsbild zur Cloud-Nutzung gab kürzlich auch die Online-Umfrage „BI and Data Management in the Cloud: Issues and Trends“ vom BARC und der Eckerson Group. Danach gaben 43 Prozent der 370 Unternehmensvertreter an, bereits heute zumindest Teile ihrer Business-Intelligence- oder Daten-Management-Vorhaben mit Hilfe von Cloud-Diensten umzusetzen. Die größte Gruppe unter den Teilnehmer der Umfrage stammten nach Region aus Europa (47 Prozent) und Nordamerika (37 Prozent).

Business Intelligence Tools am häufigsten in der Cloud

Von den rund 160 Cloud-Nutzern erklärte über die Hälfte, sie würde Business-Intelligence-Werkzeuge (62 Prozent) und -Server (51 Prozent) nutzen. Stark zugenommen hat in den letzten drei Jahren auch der Einsatz von Tools für die Datenexploration (49 Prozent). Die Gründe hierfür lägen laut der Autoren in der allgemein zunehmenden Verbreitung solcher Werkzeuge sowie dem großen Interesse insbesondere unter den „Power Usern“ an solchen visuellen Tools. Power User seien aktuell die stärkste Nutzergruppe von Cloud-Lösungen. Werkzeuge für Advanced Analytics werden in jedem vierten Unternehmen in der Cloud betrieben. Auf dem Gebiet des Datenmanagements in der Cloud dominieren Data-Warehouse-Systeme (42 Prozent) vor Datenintegrationswerkzeugen (35 Prozent).

Public Cloud bevorzugt

Beim Betrieb von Cloud-Lösungen setzen Unternehmen laut Umfrage vor allem auf die „Public Cloud“, während interne Systeme („Private Cloud“) oder hybride Ansätze weniger oft genannt wurden. Public Clouds (wie der Microsoft Azure Stack) sind einfach und vergleichsweise kostengünstig nutzbar, während im Vergleich dazu intern aufgebaute Lösungen von hohen Infrastrukturinvestitionen begleitet sind. Hybride Ansätze, so die Autoren, wären zudem schwieriger zu verwalten und würden Sicherheitsbedenken auslösen, weil sich beispielsweise ein BI-Anwendung in der Cloud durch die Unternehmens-Firewall mit der internen Lösung verbinden (Tunneling) muss.

 

Megatrend Digitalisierung

Erstellt am: Freitag, 1. September 2017 von Sascha

Großer Bahnhof auf dem diesjährigen Kundentag „QUNIS Day“ in Neubeuern. Mit neuem Besucherrekord und aufgeräumter Stimmung ging es am Morgen in die Konferenz, in deren Mittelpunkt Best Practices für Business Intelligence, Big Data und Advanced Analytics sowie der fachliche Austausch stehen. Unter dem Motto „Innovation Now“ erläutern Senior Analysten sowie unsere Kunden Henkel und Südpack  wie sich die allgegenwärtige digitale Transformation der Unternehmen aktuell darstellt.

QUNIS Day 2017

Großes Anwendertreffen zu Business Intelligence, Big Data und Advanced Analytics auf dem QUNIS Day 2017. Quelle: QUNIS

Geschäftsführer Hermann Hebben konnte zum Auftakt das erfolgreichste Geschäftsjahr seit Firmengründung 2013 verkünden. Mittlerweile werden über 150 Unternehmen im Mittelstand und Konzern betreut und auch die Belegschaft sei in den letzten zwölf Monaten um 73% gewachsen. Auch wirtschaftlich stehe das Beratungshaus sehr gut dar. Hebben betonte aber, dass man weiterhin auf die Kernkompetenz setzen werde, statt neue Beratungsfelder um jeden Preis anzugehen: „G´scheid oder gar ned!“.

Data Warehouse schneller und performant aufbauen

In den letzten zwölf Monaten wurden viele erfolgreiche Projekte umgesetzt. Die Strategieberatung bleibt dabei von zentraler Bedeutung, um ein Fundament für erfolgreiche Initiativen zu legen. Mit Blick auf die Umsetzung von Anforderungen hat QUNIS sein im Markt einmaliges „Data Warehouse Framework“ weiterentwickelt und in vielen Data-Warehouse-Projekten eingesetzt. Ferner wird auf dem QUNIS Day mit der „QUNIS Automation Engine“ erstmals im Plenum eine neue Methode und Technik vorgestellt, mit der sich die Beladung eines Data-Warehouse-„Core“ automatisieren lässt. Gut entwickle sich laut Hebben auch die Schwesterfirma GAPTEQ, die sich nach ihrem Start im September 2016 mittlerweile gut im Markt etabliert hat.

Digitalisierung verändert das Datenmanagement und Datenanalyse

All diese Entwicklungen erfolgen wie erwähnt in einem Marktumfeld, das sich für Unternehmen durch die Digitalisierung aktuell radikal verändert. Beispielhaft stellte Geschäftsführer Steffen Vierkorn vier Megatrends vor, die mit der Digitalisierung verknüpfte sind: Globalisierung, Mobilität, Konnektivität und Individualisierung. Die Technologie werde immer mehr zum Treiber von Veränderungen. Besonders sei dies bei der Nutzung von Cloud-Diensten und Komponenten wie „Microsoft Azure“ zu beobachten sowie bei der Vernetzung von Geräten (Internet of Things). Jenseits der Vorstellungskraft lägen mittlerweile die entstehenden Datenmengen. Bis 2025 sei mit 163 Zetabyte zu rechnen, so Vierkorn, die auf etwa 40 Billionen DVDs Platz hätten!

Veränderungen seien auch mit Hinblick auf die Datennutzung und -analyse bei der Produktentwicklung und Geschäftsbeziehungen zu beobachten. Die Rolle von Business Intelligence. Big Data und Advanced Analytics nehme in diesem Szenario weiter zu. Viele Unternehmen versuchten aktuell die Analytik in den Griff zu bekommen. In diesem Zusammenhang stellte Vierkorn das Data-Lake-Konzept der QUNIS vor.

Künstliche Intelligenz QUNIS Day

Ein Beispiel für die Nutzung Künstlicher Intelligenz war auf dem QUNIS Day am Beispiel eines Fahrzeugs zu sehen, das neben Gesichtserkennung auch Objekten beim Fahren ausweichen kann. Quelle: QUNIS

Die dazugehörige Architektur, die traditionelle Data-Warehouse-Welt und die Nutzung von Big Data methodisch und technologisch verknüpfen hilft, wurde auf der Veranstaltung ausführlich vorgestellt. Die Auswirkungen seien auch organisatorisch groß. So würde es künftig mehr und neue Rollen im Team geben müssen, um die unterschiedlichen Anforderungen abdecken zu können.

QUNIS Day 2017

QUNIS Day 2017 Steffen Vierkorn und Patrick Eisner vom QUNIS-Management.

Die Suche nach der passenden Business Intelligence Strategie

Erstellt am: Donnerstag, 18. Mai 2017 von Sascha

Anwendungen für Business Intelligence (BI), beispielsweise für Reporting und Analyse, sind heute aus den Unternehmen nicht mehr wegzudenken. Da sie eine hohe strategische und damit wirtschaftliche Bedeutung für die Unternehmenssteuerung haben, sollten sie nicht wahllos und ungesteuert eingeführt und betrieben werden. Dennoch zeigt die QUNIS-Beratungspraxis, dass Business Intelligence oftmals noch „nebenher“ läuft. Ebenso scheitern häufig die ersten Versuche, Business Intelligence im Unternehmen einzuführen, weil eben keine BI-Strategie definiert wurde. So ist in solchen Organisationen beispielsweise unklar, wer für BI im Haus verantwortlich ist oder man erkennt nicht, dass es für BI eigener Ressourcen und einer BI-Organisation bedarf.

Business Intelligence und Unternehmensstrategie gehören zusammen

Damit sich dies ändert, gilt es zunächst einmal zu verstehen, dass eine BI-Strategie die Unternehmensstrategie maßgeblich unterstützen kann. Danach ausgerichtet sind die drei wichtigsten Facetten einer BI-Strategie zu beachten: Die Fachliche, die Technologische sowie die Organisatorische. Bei der fachlichen Facette ist u. a. Voraussetzung, dass die fachlichen Anforderungen in einem Konzept niedergeschrieben werden und man sich über einheitliche Kennzahlendefinitionen einig ist. Je nach Anforderung wir sich für eine passende Infrastruktur entschieden, welche die technologische Basis für das BI System bildet. Letztendlich ist Business Intelligence auch in die Organisation einzubetten und setzt für die Einführung und Weiterentwicklung entsprechende Prozesse voraus.

Hilfe bei der Definition und Umsetzung der Business-Intelligence-Strategie

Hilfe bei der Strategiefindung bietet das „QUNIS BI und Big Data Strategie Framework“, das eine aus langjähriger Projekterfahrung abgeleitete detaillierte Methodik mit zahlreichen Best Practices und modernen Umfrageverfahren vereint. Gemeinsam mit dem Kunden entwickelt die QUNIS nach sechs Aspekten gruppiert die Fachkonzeption, diskutiert Architektur & Technologie und klärt Organisationsfragen (zum Beispiel Rollen und Verantwortlichkeiten). Aus diesen strukturierten und gewichteten Vorgaben wird nachfolgend die Strategie für Business Intelligence, Advanced Analytics oder Big Data definiert. Ziel ist die Entwicklung einer BI Roadmap für die zukünftige Lösung. Im Ergebnis wird sich später für eine Big-Data-Lösung für gewöhnlich eine andere Systemarchitektur als für die BI-Lösung ergeben (mehr Informationen zum Vorgehen in Big-Data-Projekten finden Sie hier). Aber genau aus diesem Grund ist es so wichtig, die Anforderungen vorher mit dem Kunden zu erarbeiten.

Folgende Blog-Beiträge der QUNIS zum Thema könnten für Sie auch interessant sein:

Ein Starter Kit für das „State of the Art“ Data Warehouse

Erstellt am: Donnerstag, 27. April 2017 von Sascha

Das Data Warehouse fasziniert mich unverändert stark seit Anbeginn meines professionellen Lebens – und das sind mittlerweile immerhin schon über 25 Jahre! Das vielleicht Bestechendste an ihm ist, dass es über die Jahre nichts von seiner hohen Relevanz für Unternehmen verloren hat, die durch es fundierte und lukrative Geschäftsentscheidungen treffen können.
Seine Unverzichtbarkeit wird dabei sofort klar, wenn man betrachtet, was es per se ist:  ein strukturiertes, konsolidiertes, stabiles und stets aktuelles Fundament, dessen Bestimmung es ist, aus all den verschiedenen Daten eines Unternehmens wertschaffende Informationen zu machen. Vor allem aber – und gerade heutzutage immens wichtig – ist es nicht zuletzt auch essentieller Basisbaustein für alle Advanced Analytics oder Big Data Vorhaben.

Probleme bei schlecht aufgebauten Data Warehouse Lösungen

Und wenn man mal genau hinschaut, besitzt auch jedes Unternehmen de facto ein Data Warehouse, wenn nicht gar mehrere. Denn alle Versuche, Daten aus den ERP- und anderen Systemen regelmäßig gesammelt zu extrahieren und in einer anderen Anwendung aufzubereiten, um damit eine Auswertung zu machen, sind Praktiken, die eindeutig dem Datawarehousing zuzuordnen sind. Allerdings kann mangelnde Professionalität beim Umgang mit ihnen zu vielen Problemen führen. Diese reichen von einer mangelnden Revisionssicherheit, über sich verselbständigende und mannigfaltig verschiedentlich interpretierte Geschäftsregeln, multiple und subjektiv getriebene Interpretationen der Unternehmenskennzahlen bis hin zu historisch gewachsenen, heterogenen Landschaften, deren Entwirrung sich niemand mehr zutraut.
Ein gleichermaßen professionell fundiertes, hochqualitatives wie auch effizientes Vorgehen mit Blick auf bester Performance ist somit unverzichtbar, will man einen Datenpalast und nicht eine windschiefe Informationshütte bauen. Und so wie es beim Bau eines Palastes in vielen Jahrhunderten bewährte Praktiken und Strategien gibt, so gibt es beim Bau eines Data Warehouse in vielen Jahren bewährte Best Practices, Strategien und Techniken, die bei fachgerechter Anwendung zum Erfolg führen.

Geballtes Wissen und Best Practices für das Data Warehouse

So haben wir mit dem „QUNIS Data Warehouse Framework“ ein Rahmenwerk, also ein Framework geschaffen, das aus vielen grundsoliden Bausteinen für den Bau eines „State of the Art“ Data Warehouse besteht, das die Essenz all unserer Best Practices, Strategien, Methoden und Techniken enthält. Mit Hilfe dieses Baukastens ist es nicht nur möglich, ein hochqualitatives, performantes und vor allem stabiles Data Warehouse in kürzester Zeit zu schaffen – etwas, was bis vor kurzem noch als langjähriges Projekt und für kleine Unternehmen unvorstellbar galt – sondern sich – was vielleicht sogar noch wichtiger ist – auf einen sicheren Erfolg und schnellen ROI verlassen kann.
Wir haben an alles gedacht, auf was es beim Datawarehousing und zugehöriger Datenbewirtschaftung ankommt. Das „QUNIS Data Warehouse Framework“ bietet viele Benefits, angefangen bei der Konsolidierung, Plausibilisierung und Konsistenzprüfung der Quellsystemdaten über die attributgenaue Historisierung, bis hin zur passgenauen Bereitstellung fach- oder themenspezifischer Data Marts mit zahlreichen verwaltungs- und wartungsoptimierenden Leistungsmerkmalen.

Data Warehouse auch für kleine und mittelständische Unternehmen

Mit diesem Baukasten ist es nun auch kleinen und mittelständischen Unternehmen ein Leichtes, sich ein eigenes und vor allem mittelfristig enorm kostensparendes Data Warehouse zu entwickeln, das die Konkurrenzfähigkeit am Markt enorm steigern kann – insbesondere und mit immer zunehmender Bedeutung im heutigen Informationszeitalter. Das Bestechende an diesem Baukasten ist seine modulare Struktur sowie das große Maß an Flexibilität, das damit möglich bleibt. Ganz bewusst handelt es sich um ein Data Warehouse Framework. Auf das stabile Fundament, das Core bzw. also Herz des Data Warehouses ist unbedingt Verlass, die dekorative Verzierung in Form von Data Marts ist in hohem Masse individuell gestaltbar, ohne jedoch auch hier auf Stabilität, bewährte Vorgehensmodelle und Best Practices zu verzichten. Weitere Informationen zum QUNIS Data Warehouse Framework finden Sie hier.

Die Experten von QUNIS stehen Ihnen darüber hinaus bei der Realisierung Ihres BI oder Big Data-Vorhabens jederzeit mit Rat und Tat zur Seite! Sei es durch eines unserer zahlreichen kostenfreien Webinare oder im Rahmen eines BI oder Big Data-Workshops. Wir können Ihnen in jedem Fall dabei helfen, unternehmensspezifische Business Cases zu identifizieren, ein passendes Szenario mit Ihnen abzustimmen und dieses nachfolgend im Rahmen eines Proof of Concept auch gleich zu verproben.

Mehr Business Intelligence und Datenmanagement in der Cloud

Erstellt am: Montag, 20. März 2017 von Sascha
Das Interesse an der Nutzung von Software für Business Intelligence (BI) und Datenmanagement (DM) in der Cloud wächst. Zu diesem Schluss kommt eine internationale Umfrage vom BARC und der Eckerson Group. Teilnehmer waren laut der Autoren 370 IT-Verantwortlichen aus Anwenderunternehmen, die Business Intelligence und Datenmanagement im Einsatz haben. Danach ist in den Jahren 2013 bis 2016 der Einsatz entsprechender Cloud-Lösungen von 29 Prozent auf 43 Prozent der offenbar in diesem Vergleichszeitraum befragten Unternehmen gestiegen. Dies wäre eine Steigerung von 50 Prozent über die letzten drei Jahre.
Als wichtigste Vorteile von BI- und DM-Lösungen aus der Cloud nennen die Befragten die Flexibilität, geringeren Kosten (Keine Installation, keine Hardwarekosten u.a.) und Skalierbarkeit (nach Bedarf), die solche Angebote mit sich bringen. Der von den Studienteilnehmern mit Abstand am häufigste genannte Anwendungsfall von Cloud-BI-Werkzeugen ist die Bereitstellung von Reports und Dashboards (76 Prozent) – typischerweise ein Einsatzfeld für gelegentliche Nutzer.

Ad-hoc Analysen, Reporting und Dashboards in der Cloud

Viele Tätigkeiten in der Cloud ausgeführt sind aber laut der Autoren deutlich komplexer und werden vor allem von erfahrenen Power Usern vorgenommen. Letztere sind auch die häufigsten Nutzer von Cloud-Lösungen, denen es im Vergleich zu den gelegentlichen und ggf. weniger versierten Nutzern leichter fällt, sich für die Software-as-a-Service (SaaS) BI-Lösung ein Konto einzurichten, Daten hochzuladen sowie Daten zu analysieren und visualisieren. Am häufigsten werden Tools für Ad-hoc-Analysen (57 Prozent), das Erstellen von Reports und Dashboards (55 Prozent), für Data Preparation (39 Prozent) sowie Advanced- und Predictive Analytics (23 Prozent) genutzt.
Der Aufbau Cloud-basierter Data-Warehouse-Lösungen, von Data Marts oder die Nutzung von Datenintegrationswerkzeugen erfolgt hingegen bis dato im Vergleich zu den BI-SaaS-Anwendungen noch seltener. Den Grund dafür wollen die Autoren darin sehen, dass für den Aufbau solcher DM-Umgebungen mehr Aufwand in die Bereitstellung von Infrastruktur- und Plattform Services zu leisten sei. Hinzu kämen Anforderungen in punkto Sicherheit, Datenschutz sowie interne Auseinandersetzungen, die einer Verlagerung in die Cloud erschweren. QUNIS hilft Unternehmen beim Aufbau von BI- und Big-Data-Lösungen in der Cloud, beispielsweise mit Microsoft Azure Cloud, und hat dabei gute Erfahrungen gemacht. So lassen sich die benötigten Komponenten schnell und kostengünstig installieren und die Bandbreite der verfügbaren Infrastrukturkomponenten bis hin zu Umgebungen für Machine Learing ist heute bereits sehr groß. Weitere Informationen finden Sie hier.

Business Intelligence in der Public Cloud

Fast die Hälfte der Unternehmen, die Cloud BI nutzen, verwenden die Public Cloud (46 Prozent) für BI und Datenmanagement, weniger als ein Drittel (30 Prozent) setzt auf die Hybrid Cloud und 24 Prozent nutzen die Private Cloud. Die Public Cloud werde laut Studie hauptsächlich von Organisationen vorangetrieben, die BI-Umgebungen erstellen möchten, die keine On-Premise-Daten erfordern, und von Organisationen, die die Cloud verwenden, um ältere Data Warehouses zu ersetzen, erklärten die Autoren. Mit der Cloud lagern Unternehmen ihre Hardware-Infrastruktur automatisch an einen Dritten aus. Aber viele Unternehmen gehen noch weiter. Fast zwei Drittel der Befragten setzen beim Hosting ihrer Cloud-BI-Lösung auf BI- oder DM-Anbieter. Ein Viertel lässt seine Cloud-BI-Umgebung extern betreiben und verwalten, 16 Prozent lassen ihre Cloud-BI-Anwendung sogar von den Anbietern entwickeln.
Die gesamte Studie kann bei Sponsoren wie Jedox kostenfrei nach der Registrierung heruntergeladen werden.

Partitionierung des MS SQL Servers für das Data Warehouse – Teil 2

Erstellt am: Freitag, 16. Dezember 2016 von Sascha

Nach einem ersten Überblick und Erläuterungen zum Partition Switching im ersten Teil des Blog-Beitrags, geht es nun darum, was benötigt wird, um eine Partitionierung vorzunehmen. Unter dem Gesichtspunkt, die von Natur aus komplexen DWH-Verarbeitungsroutinen nicht noch unnötig zu verkomplizieren, bietet sich hierfür ein praktikables, schlankes und modular gehaltenes Umsetzungskonzept an, das aus nachfolgend aufgeführten Komponenten besteht.

Administrativen Aufwand bei der Partitionierung kleinhalten

Von zentraler Bedeutung für den Betrieb ist, dass keine regelmäßigen administrativen Eingriffe nötig sind, etwa um neue Partitionen anzulegen, sondern, dass automatisch ausgeführte Routinen dieses übernehmen.  Basis für dieses Konzept ist, dass sämtliche partitionierte Tabellen dasselbe Partitionsschema und dieselbe Partitionsfunktion nutzen (oder falls doch nötig: möglichst wenig davon). Das Ganze sollte sogar soweit gehen, dass die OLAP Measure Groups auf die gleiche Weise partitioniert sind, wie die relationalen DWH-Tabellen.

Bausteine eines Partitionierungskonzepts

Folgende modulare Bausteine sollte Ihr Partitionierungskonzept etwa beinhalten:

  • eine Importsteuerungstabelle, die für sämtliche Faktendaten, die auf Basis eines Importdatums inkrementell importiert werden, Steuerungsmöglichkeiten für entsprechende Anwender erlaubt, wie einmaliger Import von Datum x, danach wieder y Tage rollierend oder dauerhaft ab Datum z usw.;
  • eine Handvoll Sichten, die Ihnen Infos zu Dimensionen / Measure Groups (beides basierend auf sog. Dynamic Management Views (DMV) auf Grundlage eines eingerichteten Verbindungsservers zu Analysis Services) und Partitionen / Partitionsgrenzen liefern – diese sind für den allgemeinen Überblick sinnvoll und finden in den nachfolgend aufgeführten Routinen Verwendung;
  • eine zentrale interne Routine (gespeicherte Prozedur), die auf Basis übergebener Parameter das Partition Switching für die relevanten Partitionen einer Faktentabelle vornimmt (in/out), sowie bei inkrementellen Importprozessen, die auf einem Importdatum basieren, die entsprechenden Fakten, die neu eingelesen werden, löscht (auf Basis der obigen Importsteuerungstabelle);
  • eine manuell aufzurufende Routine, die für neu erstellte Measure Groups basierend auf partitionierten Faktentabellen die Partitionierung – gültig nach aktuellem Stand – einrichtet (auf Basis von XMLA-Code via Verbindungsserver);
  • eine Routine für die nächtliche Datenverarbeitung, die sämtliche Dimensionen parallel verarbeitet (process update) und anschließend alle nicht partitionierten Measure Groups sowie alle relevanten Partitionen partitionierter Measure Groups parallel verarbeitet (auf Basis von XMLA-Code via Verbindungsserver sowie der Importsteuerungstabelle);
  • eine Routine, die auch mehrfach am Monatsanfang ablaufen kann und wiederholt nachsieht, ob es in der obersten (nach oben hin nicht begrenzten Partition) bereits Daten gibt. In diesem Fall werden alle nötigen Maßnahmen durchgeführt, die relationalen wie auch die multidimensionalen Partitionen anzulegen und zu verarbeiten.

Ein Tipp für die Praxis: Achten Sie penibel auf die Benennung der Dimensionen, Cubes und Measure Groups, denn DMVs liefern grundsätzlich den Namen dieser Objekte, während über XMLA die internen IDs dieser Objekte angesprochen werden müssen. Umbenennungen der IDs sind hier aufwändig.

Vorteile der multidimensionalen Partitionierung

Bleibt noch auszuführen, welche Vorteile die multidimensionale Partitionierung u.a. bietet: Sie erlaubt es, den Caching-Mechanismus zu optimieren. Während eine unpartitionierte Measure Groups mit der nächtlichen Verarbeitung aus dem Arbeitsspeicher entfernt wird, bleiben bei partitionierten Measure Groups die nicht-verarbeiteten Partitionen im Arbeitsspeicher vorhanden. Weiterhin beschränkt sich die Verarbeitung auf relevante Partitionen, während historische Partitionen nicht immer wieder neu verarbeitet werden müssen.

Weitere Informationen: Im Rahmen der QUNIS Beratung für Data Warehousing  geben wir unseren Kunden auch Tipps zur Performance-Optimierung ihres Microsoft SQL Servers. Dabei spielt die richtige Partitionierung eine wichtige Rolle.

Partitionierung des MS SQL Servers für das Data Warehouse – Teil 1

Erstellt am: Freitag, 9. Dezember 2016 von Sascha

Im Rahmen der QUNIS Beratung für Data Warehousing  geben wir unseren Kunden auch Tipps zur Performance-Optimierung ihres Microsoft SQL Servers. Dabei spielt die richtige Partitionierung eine wichtige Rolle. Grundsätzlich ist eine Partitionierung sowohl relational wie multidimensional möglich. Während Letzteres häufiger Einsatz findet, ist gerade die relationale Partitionierung bei zeitintensiven Data-Warehouse-Verarbeitungsroutinen ein effektvolles Mittel zur Laufzeitverbesserung. Die relationale Partitionierung findet auf Tabellen Anwendung und bedeutet faktisch, dass die Tabelle physisch in einzelne Fragmente aufgeteilt wird. Es handelt sich aber nach wie vor logisch und abfragetechnisch um eine (1!) Tabelle.

Die einzelnen Fragmente sind die Partitionen. Diese können auf unterschiedlichen Dateigruppen liegen, was durch das Partitionsschema definiert ist. Wichtiger für das Verständnis ist jedoch, dass jeder Datensatz eindeutig zu einer bestimmten Partition zugeordnet werden kann. Das ist über die Partitionsfunktion einzustellen. Dazu ist ein Feld der Tabelle festzulegen, dessen Inhalt dieses für jeden Datensatz bestimmt, beispielsweise ein Datum. So ließe sich in der Partitionsfunktion für Data-Warehouse-Fakten festlegen, dass historische Daten in Jahrespartitionen und aktuelle Daten in Monatspartitionen abgelegt werden.

Partition Swichting zur Performance-Steigerung
Um auf dieser Basis tatsächlich signifikante Performance-Verbesserungen in der Data-Warehouse-Verarbeitung erzielen zu können, ist ein weiterer Aspekt zu beachten. Die alleinige Partitionierung hat keinerlei Effekt, wenn SQL-Server die anzusprechenden Partitionen nicht auf Basis des entsprechenden SQL-Statements ableiten kann. Daher ist bei der Erstellung der SQL-Anweisungen besondere Acht geboten. Um diese Gefahr auszuschalten, sollte alternativ zum Mittel des Partition Switching gegriffen werden.  Hierbei werden einzelne Partitionen aus der Data-Warehouse-Tabelle in eine Arbeitstabelle für die Verarbeitung (löschen, einfügen, aktualisieren) herausgelöst (Switch out). Bedenken Sie hierbei, dass keinerlei Daten physisch bewegt werden, sondern dass die einzelnen Datenseiten in den Metadaten als zugehörig zur Arbeitstabelle statt zur Data-Warerhouse-Tabelle deklariert werden. Dadurch ist ein solches Partition Switching auch eine Angelegenheit eines Bruchteils einer Sekunde, egal wie viele Datensätze betroffen sind. Nach der Verarbeitung erfolgt das Partition Switching in umgekehrter Richtung (Switch in).

Wann lohnt sich Partition Switching?
Ab wann lohnt sich der Aufwand der Partitionierung verbunden mit Partitionsschema, Partitionsfunktion, zusätzlicher Arbeitstabelle und Partition Switching? Zunächst muss ein gewisses Datenvolumen vorhanden sein, ab dem es sich überhaupt lohnt, über den Einsatz nachzudenken. Die Angaben hierzu schwanken zwischen 20 und 60 Millionen Datensätze pro Tabelle. In der Praxis beschränkt sich das folglich auf Faktendaten.  Sollten Sie also eine oder mehrere Faktentabellen in dieser Größenordnung und gleichzeitig Laufzeitprobleme in der Verarbeitung haben, lohnt sich der Einsatz der Partitionierung, die allerdings ausschließlich in der Enterprise Edition (gilt für relationale Partitionierung) verfügbar ist.

Was ist also nötig für einen Einsatz der Partitionierung auf relationalen Fakten und OLAP-Measure Groups? Lesen Sie weiter im zweiten Teil des Beitrags!

 

Hohe Anforderungen an ein modernes Reporting

Erstellt am: Donnerstag, 13. Oktober 2016 von Sascha

Konsolidierung, Datenbeschaffung, Plausibilisierung und Abstimmung sowie die Berichtserstellung sind die typischen Phasen, die ein Reporting durchläuft. Die dazugehörigen Prozesse sollen heute so flexibel sein, dass sich neue Anforderungen schnell und ohne größeren Aufwand umsetzen lassen. Doch glaubt man der diesjährigen Lünendonk-Untersuchung „Der Markt für Business Intelligence und Business Analytics in Deutschland“ ist dies lediglich in 37 Prozent der insgesamt 70 befragten Unternehmen heute der Fall (2014: 54 Prozent). Stattdessen sind viele Standardaufgaben im Reporting nur ungenügend automatisiert und integriert. Durchschnittlich 67 Prozent der zur Verfügung stehenden Zeit entfallen auf diese Phasen.

Operational Business Intelligence
Da immer mehr Geschäftsprozesse und -modelle digital gesteuert und Marktzyklen kürzer werden, besteht also Handlungsbedarf. Strategische und operative Entscheidungen müssen sich künftig immer häufiger zeitnah auf der Basis analysierter Datenmengen treffen lassen können (operational BI). Und nicht nur die bisherigen Prozesse sind laut Lünendonk häufig noch (oder wieder) zu unflexibel, sondern auch die Qualität und Detailtiefe der Reports lasse zu wünschen übrig. So erklärte mit 44 Prozent (2014: 64 Prozent) weniger als die Hälfte der befragten Unternehmen, man würde qualitativ hochwertige Reports erstellen.

Andererseits seien laut Lünendonk vielerorts Anstrengungen im Gang, das Reporting in den kommenden Monaten zu optimieren. Etwa bezüglich der Automatisierung: 36 Prozent der Unternehmen müssen aktuell noch manuelle Eingriffe in den Reporting-Prozess vornehmen. Bereits in den zwei Jahren sollen es nur noch 29 Prozent sein.

Etwas weiter sind die befragten Unternehmen hinsichtlich der Standardisierung ihres Reportings. Aktuell können bereits 47 Prozent der Unternehmen auf vordefinierte Berichtsvorlagen zurückgreifen. Nur 24 Prozent der Befragten erklärte, Berichte würden immer noch erst auf Anfrage neu erstellt. In den kommenden zwei Jahren wollen 79 Prozent der Unternehmen standardmäßig auf vordefinierte Berichtvorlagen zurückzugreifen.

Reporting häufig als Insellösung
Eine zusätzliche Herausforderung im Reporting sind laut Lünendonk viele noch existierende Insellösungen. Knapp 60 Prozent der Befragten erklärten, dass ihr Berichtswesen dadurch aktuell keinen einheitlichen Blick auf das Unternehmen ermöglicht.  Beklagt wurde ferner von mehr als der Hälfte der Umfrageteilnehmer der Mangel an Experten mit speziellem technischen und Branchenwissen, und auch eine stärkere Verzahnung des Berichtswesens der Fachbereiche sei für jeden zweiten Befragten noch nicht erreicht. Letztere sei aber Voraussetzung für eine integrierte Unternehmenssteuerung, in der Kennzahlen und Datenauswertungen der einzelnen Fachbereiche im Sinne eines unternehmensweiten Ansatzes genutzt werden können.