GeoNode in Forschungsdateninfrastrukturen (fossgis2023)

Published: March 17, 2023, 8 a.m.

b'In verschiedenen fachlichen und technischen Kontexten haben wir GeoNode als zentrale Komponente von Forschungsdateninfrastrukturen eingesetzt. In den einzelnen Szenarien wurden verschiedene Weiterentwicklungen und Erg\\xe4nzungen vorgenommen. Dazu geh\\xf6ren die Anbindung von Remote-Diensten \\xfcber offene OGC Schnittstellen oder die Integration von Cloud-optimized-GeoTiffs (COG). Zur Darstellung der neuen Datentypen und spezialisierten Fachinformationen wurden dedizierte Dashboards entwickelt.\\n\\nDie Idee einer Forschungsdateninfrastruktur (FDI) beruht darauf, dass \\xfcber die reinen (Geo-) Daten hinaus auch der Forschungsprozess (in Teilen) darin abgelegt werden kann. Eine FDI unterst\\xfctzt Forschende in Ihrer Arbeit und tr\\xe4gt zur Vernetzung der Arbeiten innerhalb einer Organisation bei. Durch die zentrale Struktur tr\\xe4gt eine FDI auch zu einer besseren Reproduzierbarkeit von Forschung bei. Ein weiterer zentraler Aspekt ist die Bereitstellung von aufbereiteten Daten, die direkt analysiert werden k\\xf6nnen (ARD: Analysis Ready Data), so wie die direkte Anbindung von Prozessierungsdiensten. Neben der Bereitstellung und Verwaltung von Daten kann eine FDI aber auch Software oder beispielsweise Open Education Resources beinhalten.\\n\\nDie Wissenschaft ist oftmals ein Unterst\\xfctzer von offener Software, nicht zuletzt um auch die Implementierung im wissenschaftlichen Sinne nachvollziehbar und reproduzierbar zu machen. Wir m\\xf6chten in diesem Beitrag verschiedene FDI-Anwendungen aus der Geo-Dom\\xe4ne auf Basis von GeoNode und weiteren FOSS-Komponenten vorstellen. \\n\\nZiel des zugrunde liegenden BMWK gef\\xf6rderten F&E-Projektes \\u201cMariData\\u201d ist es, die Energieeffizienz von Schiffen zu verbessern. Um dieses Ziel zu erreichen, soll eine Routenoptimierung durchgef\\xfchrt werden, die Vorhersagen der Umweltbedingungen (u.a. Wind, Wellen) einbezieht und \\xfcber schiffsspezifische, hydrodynamische Modelle den Treibstoffverbrauch f\\xfcr potentielle Routen zuverl\\xe4ssig absch\\xe4tzen kann. So l\\xe4sst sich das Routing in Bezug auf den Treibstoffverbrauch optimieren. \\n\\nUm die daf\\xfcr erforderlichen Daten in einer zentralen FDI zu verwalten, wird eine GeoNode Instanz betrieben. Da die Vorhersagedaten im NetCDF Format vorliegen, wurde GeoNode um Funktionen erweitert, die es erlauben, die NetCDF Dateien in GeoServer automatisiert und kontinuierlich zu importieren, sobald neue Daten verf\\xfcgbar sind. Diese Funktionalit\\xe4t ist bisher rein funktional am Back-End umgesetzt. Zus\\xe4tzlich zum Verwalten der Daten wird die GeoNode API um einen Endpunkt zur direkten Prozessierung der Daten, der Berechnung von Routenvorschl\\xe4gen erweitert. Als Alternative zum GeoServer f\\xfcr die Bereitstellung von Rasterdaten wurde eine Integration von Data-Cube-Konzepten in GeoNode evaluiert. Das gesamte Set-Up l\\xe4uft \\xfcber Kubernetes in der Cloud. Zur Integration von weiteren Remote-Diensten wurde eine Anbindung von existierenden Web-Coverage-Services (WCS) als Geonode Remote-Service realisiert. \\n\\nF\\xfcr das Datenanalyseunternehmen Fraym wurde GeoNode dahingehend erweitert, dass gro\\xdfe Rasterdaten im Cloud-Optimized-GeoTiff-Format (COG) direkt aus einem S3-Speicher integriert und geladen werden k\\xf6nnen. Dazu wurde das COG-Plugin des GeoServer genutzt und das GeoNode-Datenmodell entsprechend angepasst. Die S3-URL ist Teil des Metadatensatzes, was die maschinenlesbare Prozessierung von COGs erm\\xf6glicht, etwa in Jupyter-Notebooks. Die Laufzeitumgebung bei dieser Anwendung stellt ebenfalls ein Kubernetes-Cluster. \\n\\nF\\xfcr die Universit\\xe4t Manitoba wurde eine GeoNode Instanz aufgesetzt, um verschiedene Geodaten einheitlich zu verwalten. \\xdcber den Daten-Katalog k\\xf6nnen die heterogenen Datens\\xe4tze (Rasterdaten, Vektordaten, Zeitreihen) exploriert werden. Erg\\xe4nzend zu GeoNode wurde insbesondere die Integration von Zeitreihendaten entwickelt. Daf\\xfcr wurde eine separate Django App implementiert, die in GeoNode installiert werden kann und einen neuen Remote Service Typ f\\xfcr die OGC SensorThings API (STA) bereitstellt. Datastreams aus hinzugef\\xfcgten STAs k\\xf6nnen anschlie\\xdfend in GeoNode importiert werden. Dazu wird f\\xfcr jeden Datastream ein GeoNode Layer angelegt und die spezifischen Metadaten (Sensor, Thing, ObservedProperty, etc.) in zus\\xe4tzlichen Datenbanktabellen gespeichert. Die STA-Layer k\\xf6nnen dann \\xfcber den Katalog gefunden und die Standard-Metadaten sowie die zus\\xe4tzlichen Elemente angezeigt werden. Die eigentlichen Daten liegen nach wie vor nur in der STA vor. Um diese zu visualisieren und herunterzuladen, wurde au\\xdferdem ein separates Dashboard entwickelt, das die Stationen auf einer Karte anzeigt und die Exploration der Messreihen \\xfcber Zeitreihen-Diagramme erm\\xf6glicht.\\n\\nF\\xfcr eine GeoNode Instanz, welche Daten und Informationen zum Klimawandel in Bangladesch bereitstellt, wurden in enger Kooperation mit den Nutzer*Innen spezielle externe Dashboards entwickelt. Diese Dashboards dienen dazu, Daten zur Vulnerabilit\\xe4t durch Klima\\xe4nderungen und Naturkatastrophen, Klimamodelldaten und Zeitreihen Benutzer*Innen und Entscheidungstr\\xe4ger*Innen zug\\xe4nglich zu machen.\\n\\nZusammen mit dem Unternehmen FORLIANCE wurde das Management von kundenspzifischen Geodaten \\xfcber die Metadaten in GeoNode realisiert. Um den breiten Einsatz der FDI zu erm\\xf6glichen, wurde zudem das Nutzer- und Rollenmanagement auf Basis von GeoNode und dem Metadaten-Modell erweitert. Die gew\\xfcnschte spezialisierte Sicht auf die Geodaten konnte durch die Entwicklung eines Dashboards erm\\xf6glicht werden. Diese spezifische Anwendung von GeoNode ist im Kubernetes-Cluster der FORLIANCE GmbH deployed.\\n\\nDer Einsatz der FOSS-L\\xf6sung GeoNode hat sich in verschiedenen fachlichen und technischen Kontexten bew\\xe4hrt. Der konsequente Einsatz von offenen Standards erm\\xf6glicht eine gute Integrierbarkeit mit weiteren Komponenten, um fehlende Features zu erg\\xe4nzen. So lie\\xdfen sich bedarfsgerechte spezifische FDIs entwickeln, die verschiedene Datens\\xe4tze zentral auffindbar machen. \\n\\nNeben den Software-Entwicklungen konnte \\xfcber die Projekte hinweg ein effizientes und skalierbares Deployment mit Hilfe von Kubernetes etabliert werden. So kann die technologische Basis f\\xfcr eine FDI einfach bei verschiedenen Cloud-Anbietern oder in lokalen Set-Ups bereitgestellt werden und auf umgebungsspezifische Eigenheiten eingegangen werden. \\n\\nZur tiefergehenden Exploration der Daten werden zuk\\xfcnftig weitere Anwendungen entwickelt, um die spezifischen Datens\\xe4tze und ihre Pr\\xe4sentation f\\xfcr Nutzer*Innen m\\xf6glichst intuitiv und informativ bereit zu stellen.\\nabout this event: https://pretalx.com/fossgis2023/talk/LTMYWG/'