GIS & Datenstrome; Stream Processing mit Apache StreamPipes (fossgis2023)

Published: March 17, 2023, 8:30 a.m.

Anhand Open-Source-Software Apache StreamPipes wird die praktische Anwendung von Geo-Operatoren beim Stream-Processing vorgestellt. Zudem werden die allgemeinen Grundlagen und die Herausforderungen von Stream-Processing erkl\xe4rt und mit den klassischen Prinzipien des Batch-Processing verglichen. Auf Themen wie Interoperabilit\xe4t durch Umsetzung von Standards als auch Ontologie im Geo-Bereich wird ebenfalls eingegangen.\n\nHeute existieren eine Vielzahl von Datenquellen, die gro\xdfe Datenmengen in Quasi-Echtzeit erzeugen. Daraus resultieren kontinuierliche Datenstr\xf6me und die Verarbeitung und Analyse werden als Stream-Processing bezeichnet. Das zugrunde liegende Konzept stellt einen neuen Ansatz zum klassischen Batch-Processing dar. Daten werden nicht erst zwischengespeichert, sondern direkt nach ihrer Entstehung oder ihrem Empfang in nahezu Echtzeit kontinuierlich verarbeitet und analysiert. Stream-Processing kommen beispielsweise im Big-Data-Umfeld oder im Bereich Internet der Dinge (IoT) zum Einsatz. Die Verarbeitung und Analyse von (Geo-) Datenstr\xf6men in diesem Kontext existieren im Open Source Bereich nur bedingt oder verlangt ein tiefes Grundwissen und eine breite Systemarchitektur.\n\nEine einfache L\xf6sung und Umsetzung bietet das Apache StreamPipes Projekt. StreamPipes ist eine Self-Service (industrielle) IoT-Toolbox, die es auch technisch nicht versierten Benutzern erm\xf6glicht, (Geo-) Datenstr\xf6me zu verbinden, zu analysieren und in Dashboards zu visualisieren.\nDieses kann z. B. im Bereich des autonomen Fahrens, Verkehrs\xfcberwachung oder auch Monitoring von Wetter-Sensoren erfolgen. Die (Geo-) Datenstr\xf6me k\xf6nnen dabei nicht nur durch Adapter importiert, sondern auch durch verschiedene Senken anderer Open Source Technologien zur Verf\xfcgung gestellt werden. Daher spielt das Thema Interoperabilit\xe4t eine zentrale Rolle, welche durch verschiedene OGS Standards gew\xe4hrleistet wird.\n\nIn diesem Talk werden auf die allgemeinen Grundlagen und Terminologien des Stream-Processings eingegangen und am Beispiel von StreamPipes erkl\xe4rt. Auch werden die Herausforderungen im Vergleich zu Batch Processing dargelegt und L\xf6sungen pr\xe4sentiert. Anhand von Beispielen aus dem Geo-Bereich werden verschiedene Geo-Operatoren exemplarisch im Stream-Processing vorgestellt.\nabout this event: https://pretalx.com/fossgis2023/talk/FTBK3Q/