Smart Home, Smart Mobility, Industrie 4.0 – Datenvolumen allerorts nehmen unaufhörlich zu. Mit Event-Streaming-Technologien können Datenströme je nach Bedarf auch in großer Zahl effizient verarbeitet werden.

Das reale Leben läuft nicht in statischen Daten ab, es ist eventgetrieben. Auch Unternehmen stützen ihren Erfolg auf Geschäftsprozesse, sogenannte Events. Diese für viele Organisation neue Sichtweise auf die Unternehmenssteuerung betrifft im Kern auch die IT-Infrastruktur. Es geht darum, sich von statisch abgelegten Daten in Datenbanken zu verabschieden. Daten sind nun stets in Bewegung und müssen entsprechend »in motion« verarbeitet werden können. Willkommen beim Konzept des »Event Streaming«.

Die österreichische Post spricht von derzeit 15 Milliarden Events, die bei der Sammlung von Datenpunkten bei der Paket­auslieferung anfallen und rechnet mit 100 Milliarden Events im Jahr 2030. Doch viele Geschäftsbereiche in Unternehmen erfassen ihre Daten noch nicht vollständig – ebensowenig Branchen wie etwa die Bauwirtschaft, die mit ihrer Vielzahl an Baustellen enormes Potenzial für zu verarbeitende Ereignisse böte. Es ist ein ganzer Wirtschaftszweig, der noch vor dem Schritt steht, Datenpunkte umfassend zu erheben, und die klassischen Datenbanken durch kontinuierliche Datenströme zu ersetzt.

Denn wollen Unternehmen heute dauerhaft erfolgreich sein, müssen die Datenmengen »in time« verarbeitet, analysiert und über das gesamte Unternehmen hinweg verfügbar sein. Datenströme bezeichnen den kontinuierlichen Datenfluss von Datensätzen, dessen Ende meist nicht im Voraus abzusehen ist. Datensätze werden fortlaufend verarbeitet, sobald ein neuer eintrifft.

In der zunehmend sensorgesteuerten Welt sind Reaktionen in Echtzeit entscheidend – das reicht von der Arbeit mit Sensoren im industriellen Umfeld, wo Millisekunden zählen, über trägere vorausschauende Wartungsszenarien eines Smart Homes, bis zum Erkennen und Reagieren auf cyberkriminelle Aktivitäten und Anomalien, wo wiederum Geschwindigkeit zählt. Es gilt, Daten aus sämtlichen Unternehmensbereichen so schnell wie nur möglich zu integrieren, zu verarbeiten, zu analysieren, zu korrelieren sowie über das gesamte Unternehmen hinweg zu transportieren und integrieren. Nicht die Datenmenge ist hier entscheidend, sondern der Zeitpunkt für die Reaktion.

Eine Lösung für diese Herausforderung bietet die Middleware »Apache Kafka«, die ursprünglich 2011 für den Umgang mit Echtzeit-Datenfeeds bei ­LinkedIn entwickelt wurde. Das IT-Unternehmen Confluent hat die Middleware von einer Messaging-Queue zur vollwertigen Event-Streaming-Plattform gestaltet. Als De-facto-Standard am Markt verarbeitet sie Datenströme in Echtzeit, egal bei welcher Skalierbarkeit. Apache Kafka eignet sich für IT-Funktionen, die auf die Erfassung von Daten aus unterschiedlichsten Quellen angewiesen sind, zum Beispiel Monitoring, Alarme, Berichte, Protokolle und der Nachverfolgung eines Website-Verkehrs.

Kai Wähner, Confluent: »Wir erleichtern mit unserer Enterprise-Plattform den Zugang und den Umfang mit Apache Kafka für Unternehmen.« (Bild: beigestellt)

Kafka kann weiters auch als zuverlässige Informationsquelle genutzt werden, da Daten auf mehrere Nodes verteilt sind. So kann eine Bereitstellung mit hoher Verfügbarkeit in einem einzigen Rechenzentrum oder über mehrere Verfügbarkeitsbereiche hinweg erzielt werden. Als zentrales Gateway für die Echtzeitintegration ist es mit beliebigen anderen Technologien integrierbar. So kann Kafka auch auf andere klassische Systeme wie Datenbanken zugreifen. Die Open-Source-Technologie ist eine offene Schnittstelle und eine Plattform, wodurch übergreifend über unterschiedliche Clouds und Infrastruktur vor Ort gearbeitet werden kann.

»Wenn ich kontinuierliche Datenströme mit Daten aus einer Datenbank in Echtzeit korreliere und sie verwende, entstehen die spannendsten Use-Cases«, betont Kai Wähner, Field CTO bei Confluent. Das ist einer der Unterschiede zu anderen Middleware-Lösungen, die stärker an proprietäre Lösungen gebunden sind. Traditionelle Middleware kann für die Legacy-Integration von Mainframes oder Datenbanken eingesetzt werden, aber nicht für hochskalierbare und hochverfügbare Systeme und große Datenmengen. Ebenso garantiert Kafka Businesskontinuität – das ist vor allem für transnationale Systeme wie Payment-Plattformen wichtig. Mit Kafka laufen Systeme auch während eines Updates. Wartungsphasen sind kein Thema.

Events entscheiden

Wenn Unternehmen heute in unsicheren und sich schnell ändernden Markt­umgebungen wettbewerbsfähig bleiben wollen, ist es überlebenswichtig, schnell auf Marktbewegungen wie Aktionen der Kunden zu reagieren. »Wichtig ist, Datenströme in Echtzeit zu visualisieren, um zu wissen, was etwa in einer Maschinenfabrik passiert«, betont Kai Wähner. Gerald Tretter, Leiter des Center of Excellence für Real-Time Enterprise & Event Streaming bei BearingPoint, einem Partner von Confluent seit 2018, vergleicht das mit dem Telefonsystem. »Was wäre ein Telefon, das nicht klingelt, ich müsste permanent den Hörer abheben und reinhören, ob jemand anruft. So verhält sich eine Datenbank. Ein Telefon, das klingelt, ist ein Event.«

Gerald Tretter, BearingPoint. »Das Know-how der Mitarbeiter wird größtenteils in maschinengetriebenen Lösungen umgesetzt.« (Bild: Photo Simonis)

Argumente für Apache Kafka sind für Tretter nicht die Menge und Schnelligkeit der Verarbeitungen – das ist in den einzelnen Industrien sehr unterschiedlich –, für ihn entscheidet der richtige Zeitpunkt. Dieser ermöglicht es, proaktiv auf ein Event zu reagieren und zum korrekten Zeitpunkt Entscheidungen herbeizuführen. Dazu hat die Technologie im Hintergrund mit einem schnellen, richtigen und einem vollständigen Datenaustausch zu arbeiten.

Grenzen für Datenströme gibt es dabei keine, weder nach oben noch nach unten. »Handelsplattformen nutzen Kafka für Milliarden an Events«, nennt Christian Knedelstorfer, verantwortlich für den Bankenbereich bei BearingPoint Österreich, als Beispiel. »Wir haben Cases umgesetzt, wo es wenige hunderte Events pro Stunde sind, hier entscheidet nicht die Geschwindigkeit per se. In einem anderen Projekt zählt das Faktum, das statt zwölf Stunden in der Nacht alles innerhalb von fünf Sekunden passiert.«

Hilfe durch Automatisierung

Eventgetriebene Datenverarbeitung sei die Zukunft für jedes Unternehmen, ist auch sein Kollege überzeugt. »Gegenüber Kunden erkläre ich das an realen Fällen«, sagt Gerald Tretter. Etwa so: Ein Kunde in der Transportlogistik steht künftig dem Problem des Mitarbeitermangels gegenüber. Für ihn ist die Automatisierung von Geschäftsprozessen entscheidend, das Unternehmenswachstum muss unabhängig von der Anzahl der Mitarbeiter*innen werden. »Einer unserer Kunden hat sich zum Ziel gesetzt, ein eventgetriebenes Unternehmen mit datengetriebenen Entscheidungen zu werden, wo das Know-how der Mitarbeiter größtenteils in maschinengetriebenen Lösungen umgesetzt wird«, berichtet er.

Christian Knedelstorfer, BearingPoint. »Kunden haben oft eine sehr unübersichtliche IT-Architektur mit sehr vielen Datenströmen.« (Bild: BearingPoint)

Für ein Industrieunternehmen wiederum, das Maschinen in Echtzeit überwachen muss, ist es essenziell, Abläufe zu optimieren und Fehler zu vermeiden. »Kunden haben oft eine sehr unübersichtliche IT-Architektur mit sehr vielen Datenströmen. Änderungen nehmen viel Zeit in Anspruch. Die Verkürzung dieses Prozesses ist ein Grund für den Einsatz von Apache Kafka«, betont BearingPoint-Experte Knedelstorfer.

Die aktuelle Version von Apache Kafka ist 3.3, in der Regel erfolgen zwei bis drei Releases pro Jahr. Das Open Source Framework kann jeder, der im Internet surft, herunterladen. Confluent bietet dazu eine Enterprise-Plattform, um Unternehmen den Zugang zu der Technologie, die Verwendung und den Betrieb zu erleichtern.

Datenberge

Unternehmen haben heute viele Informationsquellen mit einer Riesenmenge an Daten – IoT-Geräte im Feld, Sensoren, bewegungsrelevante, maschinen- und personenbezogene Daten und solche aus Applikationen. Bislang wurden diese Daten an unterschiedlichen Stellen gesammelt, gespeichert und eher azyklisch in zentrale Speicher für die weitere Auswertung eingespielt. Mit »Event Streaming« werden diese Ereignisse in eine zentrale Plattform übernommen, dort normiert, verwaltet und in Echtzeit zur Verfügung gestellt. »Apache Kafka« ermöglicht das in einem sehr hohen Durchsatz.

Datenströme 

Wo Daten zwischen Systemen ausgetauscht werden, ist das Verarbeiten und Speichern mit Apache Kafka hilfreich. Die Anwendungsmöglichkeiten reichen von der einfachen Nachrichten-Queue zum Abonnieren und Veröffentlichen von Nachrichten über die Nachrichtenübertragung als Broadcast bis zur Speicherung und Verarbeitung von Datenströmen mit großem Informationsgehalt:

1. Monitoring verteilter Anwendungen und Prozesse
2. Aggregieren und Analysieren von Log-Dateien verschiedener Systeme
3. Synchronisieren von Daten und Informationszuständen verteilter Systeme
4. Tracking von Internetseiten in ­Echtzeit
5. Verarbeiten von Datenstreams im Umfeld von Machine Learning

Unterschied in der Middleware

Vier Charakteristika beschreiben die offene Plattform Kafka und unterscheiden sie von anderen Middleware­lösungen am Markt:

• Echtzeitmessaging für ­transaktionale und analytische Daten
• Storage für die Entkopplung von Systemen, auch historischer Daten
• Datenintegration
• Datenkorrelation