Archiv für die Kategorie Business Intelligence

Partitionierung des MS SQL Servers für das Data Warehouse – Teil 2

Erstellt am: Freitag, 16. Dezember 2016 von Monika Düsterhöft

Nach einem ersten Überblick und Erläuterungen zum Partition Switching im ersten Teil des Blog-Beitrags, geht es nun darum, was benötigt wird, um eine Partitionierung vorzunehmen. Unter dem Gesichtspunkt, die von Natur aus komplexen DWH-Verarbeitungsroutinen nicht noch unnötig zu verkomplizieren, bietet sich hierfür ein praktikables, schlankes und modular gehaltenes Umsetzungskonzept an, das aus nachfolgend aufgeführten Komponenten besteht.

Administrativen Aufwand bei der Partitionierung kleinhalten

Von zentraler Bedeutung für den Betrieb ist, dass keine regelmäßigen administrativen Eingriffe nötig sind, etwa um neue Partitionen anzulegen, sondern, dass automatisch ausgeführte Routinen dieses übernehmen.  Basis für dieses Konzept ist, dass sämtliche partitionierte Tabellen dasselbe Partitionsschema und dieselbe Partitionsfunktion nutzen (oder falls doch nötig: möglichst wenig davon). Das Ganze sollte sogar soweit gehen, dass die OLAP Measure Groups auf die gleiche Weise partitioniert sind, wie die relationalen DWH-Tabellen.

Bausteine eines Partitionierungskonzepts

Folgende modulare Bausteine sollte Ihr Partitionierungskonzept etwa beinhalten:

  • eine Importsteuerungstabelle, die für sämtliche Faktendaten, die auf Basis eines Importdatums inkrementell importiert werden, Steuerungsmöglichkeiten für entsprechende Anwender erlaubt, wie einmaliger Import von Datum x, danach wieder y Tage rollierend oder dauerhaft ab Datum z usw.;
  • eine Handvoll Sichten, die Ihnen Infos zu Dimensionen / Measure Groups (beides basierend auf sog. Dynamic Management Views (DMV) auf Grundlage eines eingerichteten Verbindungsservers zu Analysis Services) und Partitionen / Partitionsgrenzen liefern – diese sind für den allgemeinen Überblick sinnvoll und finden in den nachfolgend aufgeführten Routinen Verwendung;
  • eine zentrale interne Routine (gespeicherte Prozedur), die auf Basis übergebener Parameter das Partition Switching für die relevanten Partitionen einer Faktentabelle vornimmt (in/out), sowie bei inkrementellen Importprozessen, die auf einem Importdatum basieren, die entsprechenden Fakten, die neu eingelesen werden, löscht (auf Basis der obigen Importsteuerungstabelle);
  • eine manuell aufzurufende Routine, die für neu erstellte Measure Groups basierend auf partitionierten Faktentabellen die Partitionierung – gültig nach aktuellem Stand – einrichtet (auf Basis von XMLA-Code via Verbindungsserver);
  • eine Routine für die nächtliche Datenverarbeitung, die sämtliche Dimensionen parallel verarbeitet (process update) und anschließend alle nicht partitionierten Measure Groups sowie alle relevanten Partitionen partitionierter Measure Groups parallel verarbeitet (auf Basis von XMLA-Code via Verbindungsserver sowie der Importsteuerungstabelle);
  • eine Routine, die auch mehrfach am Monatsanfang ablaufen kann und wiederholt nachsieht, ob es in der obersten (nach oben hin nicht begrenzten Partition) bereits Daten gibt. In diesem Fall werden alle nötigen Maßnahmen durchgeführt, die relationalen wie auch die multidimensionalen Partitionen anzulegen und zu verarbeiten.

Ein Tipp für die Praxis: Achten Sie penibel auf die Benennung der Dimensionen, Cubes und Measure Groups, denn DMVs liefern grundsätzlich den Namen dieser Objekte, während über XMLA die internen IDs dieser Objekte angesprochen werden müssen. Umbenennungen der IDs sind hier aufwändig.

Vorteile der multidimensionalen Partitionierung

Bleibt noch auszuführen, welche Vorteile die multidimensionale Partitionierung u.a. bietet: Sie erlaubt es, den Caching-Mechanismus zu optimieren. Während eine unpartitionierte Measure Groups mit der nächtlichen Verarbeitung aus dem Arbeitsspeicher entfernt wird, bleiben bei partitionierten Measure Groups die nicht-verarbeiteten Partitionen im Arbeitsspeicher vorhanden. Weiterhin beschränkt sich die Verarbeitung auf relevante Partitionen, während historische Partitionen nicht immer wieder neu verarbeitet werden müssen.

Weitere Informationen: Im Rahmen der QUNIS Beratung für Data Warehousing  geben wir unseren Kunden auch Tipps zur Performance-Optimierung ihres Microsoft SQL Servers. Dabei spielt die richtige Partitionierung eine wichtige Rolle.

Wer in deutschen Unternehmen wirklich die Top-Entscheidungen trifft

Erstellt am: Donnerstag, 17. November 2016 von Monika Düsterhöft

Viele Unternehmensvertreter beklagen regelmäßig, dass sie bei ihrer täglichen Arbeit mit der Datenqualität sowie einer fehlenden Integration und Geschwindigkeit der Entscheidungsprozesse zu kämpfen haben. Auch die Verfügbarkeit zusätzlicher Daten wird gewünscht. Nicht so die Teilnehmer des „Global Data and Analytics Survey 2016: Big Decisions“, die im Sommer 2016 von der Wirtschaftsprüfungsgesellschaft befragt wurden. Heruntergebrochen auf die 168 deutschen Teilnehmer der weltweiten Umfrage, bildeten Vertreter aus der IT (35 Prozent), der Geschäftsführung (21 Prozent) und aus dem Finance (neun Prozent) die größten Gruppen. Nach Branchen waren die Fertigungsindustrie (28 Prozent) und Handel (elf Prozent, Retail & Consumer) am stärksten vertreten.

Der Vorstand bleibt außen vor
Laut Aussage der großen Mehrheit der deutschen Teilnehmer werden hochstrategische Entscheidungen („big decisions“) in den kommenden fünf Jahren zu einem Plus des Shareholder Values von fünf bis 50 Prozent führen (61 Prozent der Befragten glauben das). Der Fokus liegt dabei auf der Entwicklung neuer Produkte und Dienstleistungen (25 Prozent), dem Vordringen in neue Märkte (21 Prozent) und IT-Investitionen (18 Prozent). Erstaunlich ist nun, dass an solchen Entscheidungen nicht vorrangig das Top Management beteiligt ist. 34 Prozent der Befragten sehen vielmehr Führungskräfte in der Organisation („specific organizational roles“) als Hauptbeteiligte, gefolgt von Abteilungsleitern (14 Prozent). Der Vorstand ist laut Umfrage nur in zehn Prozent der Unternehmen der Auslöser.

Fehlende Ressourcen und mangelnder Entscheidungswille im Management
Ebenso ungewöhnlich ist im Vergleich zu vielen anderen Umfragen und der Beratungspraxis, dass sich die Befragten offenbar keine Sorgen um die Datenbasis machen, auf der tägliche Entscheidungen getroffen werden. Nur zwei Prozent sehen hier ein Problem. Entsprechend bewerten sie auch die Verfügbarkeit von Daten als außergewöhnlich gut. So erklärten 97 Prozent der Unternehmensvertreter, dass in ihren Organisationen alle Entscheidungen grundsätzlich „überwiegend“ oder „bis zu einem gewissen Grad“ datengetrieben seien. Nur drei Prozent verneinten dies.

Bei den oben genannten strategischen Entscheidungen setzt man aber hierzulande – leicht über dem internationalen Durchschnitt – weniger auf Daten als immer noch  auf „Intuition und Erfahrung“ (41 Prozent). Erst an zweiten Stelle folgen datenbasierte Entscheidungen und der Einsatz von Analytics (34 Prozent). 25 Prozent lassen sich dabei durch externe Berater helfen. Die größten denkbaren Hindernisse bei der Umsetzung solcher Top-Entscheidungen sehen 21 Prozent der Befragten in fehlenden Ressourcen, 19 Prozent im mangelnden Entscheidungswillen („Leadership courage“) und 17 Prozent in den Auflagen durch die eigenen Unternehmensrichtlinien.

Es wäre sicher spannend, diese Selbsteinschätzungen einmal im Rahmen eines QUNIS Big-Data-Workshops samt „Proof of Concept“ zu überprüfen.

Hohe Anforderungen an ein modernes Reporting

Erstellt am: Donnerstag, 13. Oktober 2016 von Monika Düsterhöft

Konsolidierung, Datenbeschaffung, Plausibilisierung und Abstimmung sowie die Berichtserstellung sind die typischen Phasen, die ein Reporting durchläuft. Die dazugehörigen Prozesse sollen heute so flexibel sein, dass sich neue Anforderungen schnell und ohne größeren Aufwand umsetzen lassen. Doch glaubt man der diesjährigen Lünendonk-Untersuchung „Der Markt für Business Intelligence und Business Analytics in Deutschland“ ist dies lediglich in 37 Prozent der insgesamt 70 befragten Unternehmen heute der Fall (2014: 54 Prozent). Stattdessen sind viele Standardaufgaben im Reporting nur ungenügend automatisiert und integriert. Durchschnittlich 67 Prozent der zur Verfügung stehenden Zeit entfallen auf diese Phasen.

Operational Business Intelligence
Da immer mehr Geschäftsprozesse und -modelle digital gesteuert und Marktzyklen kürzer werden, besteht also Handlungsbedarf. Strategische und operative Entscheidungen müssen sich künftig immer häufiger zeitnah auf der Basis analysierter Datenmengen treffen lassen können (operational BI). Und nicht nur die bisherigen Prozesse sind laut Lünendonk häufig noch (oder wieder) zu unflexibel, sondern auch die Qualität und Detailtiefe der Reports lasse zu wünschen übrig. So erklärte mit 44 Prozent (2014: 64 Prozent) weniger als die Hälfte der befragten Unternehmen, man würde qualitativ hochwertige Reports erstellen.

Andererseits seien laut Lünendonk vielerorts Anstrengungen im Gang, das Reporting in den kommenden Monaten zu optimieren. Etwa bezüglich der Automatisierung: 36 Prozent der Unternehmen müssen aktuell noch manuelle Eingriffe in den Reporting-Prozess vornehmen. Bereits in den zwei Jahren sollen es nur noch 29 Prozent sein.

Etwas weiter sind die befragten Unternehmen hinsichtlich der Standardisierung ihres Reportings. Aktuell können bereits 47 Prozent der Unternehmen auf vordefinierte Berichtsvorlagen zurückgreifen. Nur 24 Prozent der Befragten erklärte, Berichte würden immer noch erst auf Anfrage neu erstellt. In den kommenden zwei Jahren wollen 79 Prozent der Unternehmen standardmäßig auf vordefinierte Berichtvorlagen zurückzugreifen.

Reporting häufig als Insellösung
Eine zusätzliche Herausforderung im Reporting sind laut Lünendonk viele noch existierende Insellösungen. Knapp 60 Prozent der Befragten erklärten, dass ihr Berichtswesen dadurch aktuell keinen einheitlichen Blick auf das Unternehmen ermöglicht.  Beklagt wurde ferner von mehr als der Hälfte der Umfrageteilnehmer der Mangel an Experten mit speziellem technischen und Branchenwissen, und auch eine stärkere Verzahnung des Berichtswesens der Fachbereiche sei für jeden zweiten Befragten noch nicht erreicht. Letztere sei aber Voraussetzung für eine integrierte Unternehmenssteuerung, in der Kennzahlen und Datenauswertungen der einzelnen Fachbereiche im Sinne eines unternehmensweiten Ansatzes genutzt werden können.