Wie wir den Wert von Netzwerkdaten steigern.

Dein Traumjob bei DICOS
Aufgepasst: Du liebst IT und bist im Team zuhause? Wir auch. Auf Dich warten spannende Projekte, ein tolles Team und zahlreiche individuelle Entfaltungsmöglichkeiten.

Für den Betreiber eines Online Shops steigt der Wert der IP-Adresse eines Besuchers, wenn diese mit einem Kundenprofil-Datensatz aus der Kundendatenbank verknüpft werden kann. Denn somit können dem Nutzer z. B. kundenspezifische Angebote angezeigt werden.

Für die Daten aus dem Firmennetzwerk und der IT gilt dasselbe: Betriebsprozesse in der IT lassen sich stark optimieren, wenn beispielsweise die IP-Adresse eines Routers mit Alarm-Daten, Performance-Daten, Trouble-Ticket-Daten etc. aus den verfügbaren Operational Support Systemen (OSS), Service Support Systemen (SSS) und Business Support Systemen (BSS) verknüpfbar ist.

Dies ist u. a. eine wesentliche Basis von AIOps-Systemen (Artificial Intelligence for IT Operations). Aktuelle AIOps-Lösungen konzentrieren sich auf Management, Analyse und Korrelation von Events. Dabei müssen unvollständige oder unstrukturierte manuelle Eingaben aus Trouble Tickets, teilweise strukturierte Daten aus Logs, lückenhafte CMDB- oder Netzdokumentationsdaten mit Events aus der IT-Infrastruktur verknüpft und normalisiert werden. Zusätzlich muss die Integrität der Daten kontinuierlich sichergestellt werden, damit die Korrelation und Analyse durch das AIOps-System funktioniert.

Sind mehrere Datenquellen im Spiel, profitiert ein AIOps-System von einem ETL-Prozess.

Daten Extrahieren, Transformieren und Laden (ETL)

ETL ist die Abkürzung für Extraktion (Extract), Transformation (Transform) und Laden (Load). Sie beschreibt einen Prozess aus mehreren Einzelschritten, mit dem sich Daten aus verschiedenen Quellen in eine Datenbank oder ein Data Warehouse integrieren lassen. Ziel ist es, die integrierten Daten für die weitere Verarbeitung vorzubereiten und bereitzustellen. Für die Implementierung von ETL-Prozessen kommen ETL-Tools zum Einsatz, die den Entwicklungsprozess maßgeblich vereinfachen.

Einsatz und Vorteile von ETL-Tools?

ETL-Tools unterstützen die Modellierung von ETL-Prozessen und ermöglichen die automatische Generierung von ausführbaren ETL-Programmen.

Der Hauptvorteil dieser Tools besteht darin, dass sie viel einfacher und schneller zu verwenden sind als herkömmliche Methoden, die Daten durch händisches Programmieren bewegen. ETL-Tools enthalten grafische Oberflächen, die das Mapping von Daten aus unterschiedlichsten Datenbanken, Dateiformaten, Protokollen und APIs zwischen Quell- und Zielspeicher beschleunigen.

Das ETL-Tool identifiziert dabei automatisch die Typen und Formate der Daten, legt die Regeln fest, wie die Daten extrahiert und verarbeitet werden müssen und lädt die Daten schließlich in den Zielspeicher. Das macht das händische Programmieren im herkömmlichen Sinne überflüssig.

Erst Laden dann Transformieren – ELT im Big Data Umfeld

Im Big-Data-Umfeld werden die letzten beiden Schritte Transformation und Laden häufig vertauscht. In diesem Fall spricht man von einem ELT-Prozess. Der ELT-Prozess lädt zunächst die Daten in ihrer Rohform und ohne vorherige Transformation in die Zieldatenbank. Es entsteht ein sogenannter Data Lake, der aus Daten verschiedenster Formate besteht. Die Transformation findet im Zielsystem mit speziellen Verfahren und Algorithmen erst für die durchzuführenden Auswertungen statt. Diese Vorgehensweise bietet den Vorteil, dass sich Daten zunächst im Zielsystem sammeln und für die Auswertungen bereitstellen lassen. Die mit den Rohdaten ausgeführten Transformationen liefern Ergebnisse, die zusammen mit den Rohdaten im gleichen Data Lake verbleiben.

Visuelle Darstellung des Datenflusses

ETL- (und ELT-) Tools basieren auf einer grafischen Benutzeroberfläche (GUI) und bieten einen visuellen Ablauf der Systemlogik. Das GUI ermöglicht es den Datenprozess per Drag & Drop zu visualisieren.

Das Beispiel (siehe Bild rechts) veranschaulicht einen vereinfachten ETL-Prozess zur Ermittlung von Inventar-Daten aus einer SNMP-MIB.

Vereinfachter ETL-Prozess zur Ermittlung von Inventar-Daten aus einer SNMP-MIB.

Robustheit durch instrumentierte Datenverarbeitungsprozesse und automatisierte Unit Tests

ETL-Tools verfügen über eine integrierte Fehlerbehandlungsfunktionalität. Diese hilft den Entwicklern, einen robusten und gut instrumentierten ETL-Prozess zu entwickeln. Zusätzlich bestehen in den Entwicklungsumgebungen Möglichkeiten zur automatisierten Durchführung von Regressionstests auf Basis von Unit Tests, die einen Soll/Ist-Vergleich nach vordefinierten „Golden Records“ durchführen können.

Vordefinierte Funktionen für komplexe Datentransformationen

ETL-Tools verfügen über eine Vielfalt vordefinierter Funktionen für String-Manipulationen, Berechnungen, Datenaggregation, Datenintegration und erleichtern so die Erstellung komplexer Transformationen. Sollten die vordefinierten Funktionen einmal nicht ausreichend sein, so lassen sich diese durch einen Programmcode (JAVA und JavaScript) leicht ergänzen.

Automatische Code Generierung

ETL-Tools bestehen aus einer Entwicklungs- und aus einer Laufzeitumgebung. In der Entwicklungsumgebung kann der Datenverarbeitungsprozess erstellt und auch ausgeführt werden, um den Datenfluss an beliebigen Stellen im Prozess zu analysieren bzw. ein Debugging durchzuführen. In der Laufzeitumgebung kann der generierte Code entweder autonom ausgeführt oder in eigene Anwendungen integriert werden. In vielen Fällen ergeben sich in sehr kurzer Zeit lauffähige Lösungen, ohne eine einzige Zeile Code zu programmieren.

»

ETL-Tools sind für die Umsetzung von Datenverarbeitungsprozessen extrem hilfreich. Sie sind schnell und einfach in der Anwendung. Lauffähige Lösungen sind oft ohne händisches Programmieren möglich.

Guido, Solution Architect bei DICOS

Maßgeschneiderte ETL-Lösungen von DICOS

DICOS unterstützt bei der Analyse und Umsetzung von Datenverarbeitungsprozessen unter Verwendung von ETL-Tools.

Beispiele für ETL-Projekte mit unseren Kunden sind:

Zusammenführung von Kunden- und Vertragsdaten aus unterschiedlichen CRM-Systemen.
Sammeln und Aggregieren von Perfomance-Daten aus einem Datennetz.
Soll/Ist Abgleich von Inventardaten aus dem Netz und CMDBs, Asset-DBs oder Netzdokumentationssystemen.

Unsere Kunden profitieren dabei von der langjährigen Erfahrung des DICOS-Teams mit Netz- und IT-nahen Protokollen und Datenschnittstellen. Wir setzen ETL-Tools von Hitachi Vantara (PDI – Pentahoe Data Integration) oder Talend inkl. deren kostenlosen Community Editions und eigene Erweiterungen der jeweiligen Tool-Chains ein. Damit können wir belastbare Lösungen schnell, kosteneffizient und in hoher Qualität anbieten. Unsere Kunden profitieren so von einem schnellen Return on Investment (ROI).

Kontakt

Noch Fragen?

Haben wir Ihr Interesse geweckt? Möchten Sie nähere Informationen zu unseren Dienstleistungen und Produkten oder eine Demo vereinbaren? Kontaktieren Sie uns. Wir helfen Ihnen gerne weiter.