QUNIS unterstützt das open Source Projekt AHUB für die schnelle und stabile Bereitstellung von Data science Services
Mit dem AHUB Deployment Framework wechseln Data Scientisten einfach und mit minimalem Aufwand von der Sandbox-Umgebung in ein professionelles, produktives Setup.
AHUB ist ein Docker-basiertes Open Source Framework für das smarte Deployment von Data Science Services
Das AHUB Framework ist darauf ausgerichtet, einen einheitlichen Ansatz für das Ausführen von Skripten in jeder Sprache (R, Python, etc.) zu bieten und stellt gemeinsame Dienste für viele Einsatzszenarien bereit.
AHUB besteht aus folgenden Komponenten:
- Eine grafische Oberfläche, die das manuelle Ausführen von Jobs in den analytischen Modulen ermöglicht und unterstützt.
- Ein Reverse-Proxy, der als Türsteher für Zugriffe von außen fungiert (Authentifizierung via Username/Passwort oder Active Directory).
- Ein Prozess-Repository, das sämtliche Laufzeitinformationen und Logs der analytischen Prozesse speichert.
- Eine einheitliche API-Definition, um die Kompatibilität der analytischen Module zu gewährleisten.
- Unterstützende R- und Python-Bibliotheken, um kompatible APIs in wenigen Zeilen Code bereitzustellen.
Das Bündel aus einzelnen Containern wird durch einen Orchestrationsdienst gestartet und verwaltet.
Hierfür kann sowohl die Docker-native Lösung Docker Swarm, als auch der weitverbreitete Kubernetes Orchestrator verwendet werden.
Der Orchestrator sorgt dafür, dass die Container über ein virtuelles Netzwerk untereinander kommunizieren können und ihnen ausreichend Ressourcen zur Verfügung stehen.
Bemerkenswert dabei ist, dass die Containerinstanzen über beliebig viele Systeme verteilt werden können. Dieser Umstand macht insbesondere die Skalierung von Services sehr komfortabel. Wenn beispielsweise das Scoring durch ein Machine-Learning-Modell in sehr hoher Frequenz abgefragt werden soll und die Rechenleistung eines einzelnen Systems nicht ausreicht, um alle Anfragen zu bedienen, können über eine einfache Konfigurationsänderung beliebig viele zusätzliche Instanzen gestartet und auf mehreren Systemen verteilt werden.
Das AHUB Deployment Framework ist als Open-Source-Projekt für die schnelle und stabile Bereitstellung von Data Science Services konzipiert. Der Quellcode und eine Demo-Applikation stehen über GitHub zur Verfügung.
Data Science Services einfach zur Verfügung stellen. AHUB bietet dafür eine orchestrierte Container-Landschaft aus standardisierten Modulen und ist als Open-Source-Projekt für jeden über GitHub verfügbar.
Martin Hanewald
Senior Consultant Data Science, QUNIS GmbH
DIREKT NUTZEN
AHUB wurde im Rahmen eines QUNIS-Forschungsprojekts entwickelt und steht über GitHub als Open Source Framework für jedermann zur Verfügung.
AUS UNSEREM BLOG
Data Science liebt Docker
Von den ersten Skripten zur Modellerstellung bis zum Deployment des Data-Science-Service.