Geodatenverarbeitung mit Workflow-Engines (fossgis2023)

Published: March 16, 2023, 4 p.m.

Workflow-Engines wie Apache Airflow sind ein wichtiges Instrument im Bereich Data Science. Sie bieten die Infrastruktur zum Definieren, Ausf\xfchren und \xdcberwachen einer Abfolge von Schritten eines Datenverarbeitungsprozesses. Dieser Vortrag vergleicht eine Auswahl verf\xfcgbarer Open-Source Workflow-Engines, die sich besonders f\xfcr Workflows mit Geodatenverarbeitung eignen. Zudem wird der OGC API \u2013 Processes-Standard, ein REST-API zur Ausf\xfchrung und \xdcberwachung von Prozessen vorgestellt.\n\nDas neu aufgekommene Fach Data Science hat eine betr\xe4chtliche inhaltliche und technische \xdcberschneidung mit traditionellen Aufgaben der Geodatenverarbeitung und -visualisierung. Die in diesem Umfeld entstandenen Tools sind deshalb auch von grossem Interesse f\xfcr GIS-Fachpersonen.\n\nArbeitsschritte und Abh\xe4ngigkeiten von Workflows werden deklarativ oder in einer Programmiersprache wie Python definiert. Die verbreitete Engine Apache Airflow hat die Workflow-Orchestrierung mithilfe von gerichteten azyklischen Graphen (engl. DAG, directed acyclic graph) popul\xe4r gemacht.\n\nDieser Vortrag vergleicht die bekannte Apache Airflow-Engine mit Open-Source-Workflow-Engines wie Dagster, einer neueren DAG-basierten L\xf6sung und Camunda, einer BPMN-basierten Workflow-Engine. Zudem gibt diser Vortrag einen \xdcberblick \xfcber den neuen OGC API - Processes-Standard und zeigt m\xf6gliche Integrationen mit verf\xfcgbaren Workflow-Engines.\nabout this event: https://pretalx.com/fossgis2023/talk/JAMMJ8/