Komplexe und große Datenmengen verarbeiten – Big Data im Fokus

Daten werden heutzutage in rasendem Tempo generiert, vielfach auch durch einen stetig größer werdenden Anteil an privater Kommunikation im Netz. Jeder einzelne wird fortlaufend in seinem Verhalten dokumentiert, ob nun bewusst oder unbewusst. Unzählige Apps auf dem Smartphone, verschiedene Accounts in den Social Networks, private Chats über Messenger, Foren und dergleichen – in Summe entstehen unzählige Verknüpfungen, die ein mehr oder minder genaues Bild über eine Person abgeben. All dies wird seit Längerem unter dem Begriff „Big Data“ zusammengefasst und stellt eines der in Zukunft wegweisenden Aspekte der Digitalisierung dar.

Zur gezielten Digitalisierung

Nun ist es so, dass eine gewisse Datenmenge an sich relativ wenig Aussagekraft hat. Dies lässt sich mit einem Telefonbuch vergleichen, das zwar dutzende Einträge verzeichnet, diese aber ohne Namen und Adresse zunächst nichts und niemandem zuordnen kann. Erst durch eine systematische, auf Methodik beruhende Vorgehensweise ist es möglich, Big Data in der Form für eigene Zwecke nutzbar zu machen.

Und genau dies stellt viele Unternehmen vor komplexe Fragestellungen und Herausforderungen, die im Folgenden betrachtet werden.

Der Versuch einer Definition von Big Data

Wer sich an einer Erklärung zu Big Data versucht, wird relativ schnell feststellen müssen, dass eine Definition dieses Begriffes nicht zweifelsfrei möglich ist. Je nach Definition zu Big Data handelt es sich um zu einem Sammelbegriff verbundene Datenmenge, die eines oder mehrere der folgenden Merkmale aufweisen.

• Hohe Schnelllebigkeit, d.h. Art und Struktur der Daten ändern sich häufig.
• Hohe Komplexität, d.h. eine Mischung aus hohem Informationsgehalt und vielfältiger, strukturierter Datenaufbereitung.
• Große Datenmengen, die allein aufgrund ihres Umfangs nicht mit herkömmlichen Methoden oder Programmen der Datenverarbeitung herangezogen werden können.
• Zu geringe Strukturierung, also ein in sich wenig schlüssiges Gesamtbild von Daten verschiedenster Herkunft, Authentizität und dergleichen.

Unter Zugrundelegung der Definition zu Big Data werden im Speziellen drei Dimensionen unterschieden.

• Volume (Datenumfang)
• Velocity (Zeitpunkt und Geschwindigkeit der Generierung und Transferierung von Datenmengen)

und

• Variety (Vielfalt hinsichtlich der Quellen und Typisierung von Datenmengen)

Big Data lässt sich noch erweitern, da dieser Begriff einen immer größeren Stellenwert für Unternehmen einnimmt. In Ergänzung hierzu lassen sich des Weiteren

• Value (Mehrwert der Datenmenge für ein Unternehmen)

und

• Validity (Sicherung der Qualität der erhobenen Datenmengen)

als Wesensmerkmale beschreiben, die bei der Definition von Big Data behilflich sind.

Datenmengen unternehmerisch nutzbar machen

In der Diskussion um Merkmale von Big Data und einer Einordnung dieses Begriffes kommen häufig Superlative zum Einsatz. Kontroverse Diskussionen stellen den Vergleich mit anderen Trendthemen her, insbesondere zu Green IT oder SOA. Nun hängt all dies nicht unwesentlich davon ab, wie betroffene Unternehmen mit den ihnen zur Verfügung stehenden Daten auch wirklich umgehen. Big Data und insbesondere Big Data Analytics als Analyserahmen haben dabei einen Bezug zur Realität. Wir von evonier software solutions, der Firma für individuelle Softwareentwicklung, haben es häufig mit bestehenden Softwarestrukturen zu tun, die in ihrer Komplexität häufig an Grenzen stoßen – deutlich wird dies insbesondere bei der Verknüpfung mit Standard-Datenbanken, insbesondere relativen Datenbanken macht das wachsende Volumen große Schwierigkeiten.

Sieht man sich diese Thematik etwas näher an, gibt es des Weiteren Probleme mit der Geschwindigkeit der Datenverarbeitung bei ETL-Prozessen. Hinzukommen verschiedene Dateiformate, die entsprechend verarbeitet werden, um in der Frontend-Darstellung angezeigt werden zu können. All dies bündelt ungemeine Kapazitäten an Rechenleistung, denn ein Großteil der unter Big Data zusammengefassten Daten weist keine einheitliche Struktur auf. So entfällt das methodische Vorgehen bei klassischen Formaten.

Im Bereich der Business Intelligence (BI) kommt dem Teilaspekt der Big Data Analytics eine Schlüsselrolle zu. Wir wollen uns diesem Begriff im folgenden Absatz etwas annähern.

©123rf

Big Data Analytics als Königsdisziplin beherrschbar machen

Unser Entwicklerteam bei evonier software solutions arbeiten seit Jahren an vielen verschiedenen Fronten, um immer größere Datenmengen beherrschbar zu machen. Im Informationszeitalter hat schließlich jenes Unternehmen einen Wettbewerbsvorteil, das möglichst alle zufließenden Informationen auch zeitnah und in Bezug auf die Unternehmensziele verarbeiten kann. Hierfür genügt es nicht mehr, auf herkömmliche Standardsoftware zu setzen und diese gegebenenfalls zu erweitern. Im Fokus steht die gänzliche Neuentwicklung einer Individualsoftware, die der Komplexität und dem Volumen der entsprechenden Datenmengen gerecht wird und durch einen Funktionsumfang auch steuerbar macht.

Dies betrifft insbesondere Bereiche, die an den Schnittstellen der bisher bekannten Datenverarbeitung liegen.

• Zeitnaher Import von Datensätzen verschiedener Typologie
• Synchron ablaufende Abfragemöglichkeiten innerhalb bestehender Datensätze und Suchmöglichkeiten innerhalb des Systems
• Parallele Datenbearbeitung in großen Datenmengen und von mehreren Anwendern gleichzeitig
• Analyse und Auswertung der sich in den Datenpaketen verbergenden Informationen

Big Data Analytics als Werkzeug ist somit daran beteiligt, die schier unbändige Menge an Daten in einer Form und systematisch aufzubereiten, um hieraus Modellrechnungen im Sinne der Unternehmenssteuerung zu ermöglichen. Teil dessen sind insbesondere auch Data Mining und Data Transformation. Mithilfe dieser Methodik lassen sich Geschäftsbereiche optimieren, Kampagnen zeitnah und zielgerichtet planen und viele weitere Operationen um Spannungsgefüge der Datenkomplexität ausführen.

Fazit

Big Data ist keinesfalls eines der vielen „weiteren“ Trends in der IT, sondern aufgrund einer universellen Bedeutung von besonderem Interesse für jede Art von datenverarbeitenden Unternehmen. Ein systematisches Vorgehen ist dabei unabdingbar, denn Big Data erfordert eine Strategie und eine Berücksichtigung aller unternehmensspezifischen Charakteristika. Evonier software solutions unterstützt Sie bei der Nutzbarmachung jeder Art von Datenmenge, angefangen bei der ersten kleinen Idee zur Optimierung der Geschäftsabläufe.

Merken