Der Cloud-Atlas
Von Nils Klute, Fachredakteur für IT-Themen, Köln
Nikolaus Kopernikus war ein Revolutionär: Er erkannte um 1500, dass die Erde sich um die Sonne dreht. Den Beweis für die damals umstrittene Theorie lieferte der Mathematiker Johannes Kepler erst einhundert Jahre später. Heute sollen Mathematik, Daten und Ideen erneut das Weltbild verändern: Das nach Kopernikus benannte Erdbeobachtungsprogramm liefert dafür täglich 20 Terabyte an Satellitendaten aus dem All. Copernicus DIAS (Data and Information Access Service) stellt sie für jedermann kostenlos bereit.
Die EU-Kommission koordiniert und steuert das Copernicus-Programm. Gemeinsam mit den Mitgliedsstaaten, der ESA, der Europäischen Organisation für meteorologische Satelliten (EUMETSAT), dem Europäischen Zentrum für mittelfristige Wettervorhersage (ECMWF), weiteren EU-Agenturen und Mercator Océan setzt die Kommission die Initiative um. Eine zentrale Herausforderung: Die Menge und Vielfalt an Daten macht den Zugriff schwer.
Daten, Anwender und Anbieter
So wäre es zum einen nicht praktikabel, wenn Anwender die Daten erst herunterladen müssten, um sie zu bearbeiten. Zum anderen ist Geoinformatik komplex und rechenintensiv. An dieser Stelle setzen die Mundi Web Services an, die ein Konsortium um den französischen IT-Dienstleister Atos entwickelt hat; beteiligt sind unter anderem das Deutsche Zentrum für Luft- und Raumfahrt (DLR), die italienische e-GEOS sowie Spacemetric (Schweden), Sinergise (Slowenien). Mundi bringt Anwender und vorbereitete Analyseservices genau da zusammen, wo die Daten bereits liegen – im Cloud-Rechenzentrum.
Die Mundi Web Services stehen in der Open Telekom Cloud bereit, einem Public-Cloud-Angebot auf Basis der freien Cloud-Computing-Architektur OpenStack. Über mundiwebservices.com greifen Nutzer auf alle Services und Daten zu, die das Zwillingsrechenzentrum des Bonner Providers in Magdeburg und Biere bereitstellt. In der Open Telekom Cloud lassen sich die Erdbeobachtungsdaten mit eigenen Programmen analysieren oder auswerten. Oder die Anwender greifen auf die vorbereiteten Geodatendienste zu: Im Mundi Marketplace stehen bereits Anwendungen zur Verfügung. Drittanbieter sind eingeladen, entsprechende Services aufzubauen, zu betreiben und – wie in einem App-Store – zu vermarkten.
Architektur der Mundi Web Services: Die Satellitendaten werden direkt in der Open Telekom Cloud vorgehalten und verarbeitet. (Bild: Mundi Web Services)
Die ESA liefert die Satellitendaten kontinuierlich an. Darüber hinaus ergänzt Mundi Informationen der NASA, von privaten Betreibern oder aus Open-Data-Verzeichnissen aus dem Internet sowie aus vielen weiteren Quellen. Alle Informationen hält der Object Based Storage (OBS) der Open Telekom Cloud zentral vor. Auf eine Dauer von vier Jahren gerechnet entsteht so eine Datenbank mit mehr als 40 Petabyte.
Die OBS-Datenhaltung optimiert eine Middleware. Je nach Aktualität, Nachfrage und damit erwarteter Zugriffsintensität wandern die Copernicus-Daten dann in Speicherbereiche mit anderen Leistungsklassen: Standard, Warm oder Cold. Auf Daten im Standard-OBS kann sehr oft am Tag zugegriffen werden. Speicherklasse Warm ist für monatliche und Cold für einzelne Zugriffe im Jahr gedacht. Pro gespeichertem Gigabyte fallen die Kosten für die Ressourcen anders aus, was eine ökonomische Datenhaltung ermöglicht. Auf diese Weise kann der Mundi Web Service die Daten kostenlos zur Verfügung stellen. Wer Analyseservices und damit Rechenressourcen nutzt, bezahlt im Pay-per-use-Modell.
Metadaten erleichtern Services
Ein Metadatenservice indiziert zudem alle Daten. So lassen sich später die Bild- und Datenkacheln finden, die die Satelliten mit ihren Kameras und Sensoren aufnehmen. Die ESA liefert alle Daten mit Metainformationen an, zum Beispiel mit Angaben zum Satelliten selbst. So arbeiten die Erdbeobachter stets paarweise und sind – je nach Aufgabe – in sechs Gruppen organisiert, den sogenannten Sentinel-Familien. Ob Ozeane, Atmosphäre oder Landmassen: Jedes Gespann im Orbit verfügt über bestimmte Sensoren – von Multispektralkameras über Doppler-Radare bis hin zu Radiometern, um Oberflächentemperaturen auf 0,3° C genau zu bestimmen. Der Mundi Web Service ergänzt die Metainformationen beispielsweise um Details zur Wolkenabdeckung. Alle Datenattribute samt Positionen und Zeiten der Aufnahmen und Messungen sind über den Metadatenservice dann erfasst und auffindbar.
Schwarz auf Weiß
Dieser Beitrag erschien zuerst in unserer Magazinreihe „Rechenzentren und Infrastruktur“. Einen Überblick mit freien Download-Links zu sämtlichen Einzelheften bekommen Sie online im Pressezentrum des MittelstandsWiki.
Darüber hinaus sollen künftig auch aggregierte Datenpakete bereitstehen. Das können beispielsweise Bilder sein, die bereinigt von atmosphärischen Störeffekten sind. Anwender können sich den Aufbereitungsschritt dann sparen und die Aggregate direkt per API in eigene Applikationen einbinden. Die Verarbeitung der Copernicus-Daten in der Cloud macht in jedem Fall aufwendige Downloads hinfällig. Statt um Übertragungskapazitäten zu konkurrieren, konkurrieren die Anbieter mit ihren Services selbst. Auf dem Mundi Marketplace soll eine Vielzahl an Diensten entstehen. Beispiel Land- und Ackerwirtschaft: Über Mundi lassen sich Anwendungen realisieren, die Bauern helfen, über die Analyse der Biomasse von Nutzflächen den Düngemittelbedarf zu optimieren.
Auch notwendige Tools, um große Datenmengen analysieren und verarbeiten zu können, stehen in der Open Telekom Cloud als Software as a Service (SaaS) bereit: So nutzen Anbieter beim Mundi Web Service beispielsweise MapReduce, um schnell große Datenmengen parallel über einen Hadoop-Cluster zu verarbeiten. Wer keine virtuellen Maschinen auf Elastic-Cloud-Servern nutzen möchte, nutzt Bare-Metal-Server. Auch Datenbanken sind als Platform as a Service verfügbar.
Ressourcen für die Forschung
Die EU-Kommission geht davon aus, dass Copernicus DIAS nicht nur den Blick der Menschheit auf den Planeten verändern wird, sondern dass aus den Daten und ihren Anwendungen mehr als 48.000 neue Jobs entstehen. Nach einer Transitions- und Testphase ist das Angebot in der Open Telekom Cloud im Juni 2018 an den Start gegangen. Derartige Public-Cloud-Lösungen sind in Forschung und Wissenschaft zunehmend gefragt. Denn Institute und Universitäten können den wachsenden Speicher- und Rechenbedarf nicht mehr mit internen Ressourcen ökonomisch decken. So ist beispielsweise unter der Führung des europäischen Kernforschungszentrums CERN bereits die Forschungs-Cloud Helix Nebula in Betrieb gegangen. Die hybride Infrastruktur stellt Wissenschaftlern länderübergreifend schnell und einfach Rechenleistung und IT-Services bereit – ebenfalls aus der Open Telekom Cloud.
