Storage-Solution mit IBM ESS, Spectrum Scale auf Basis InfiniBand Highspeed Connection und 10 Gbit Backup Netzwerk
Die TU Wien, in enger Zusammenarbeit mit dem Earth Observation Data Centre (EODC) und den EODC Partnerorgansationen, gründete am Standort Arsenal in 1030 Wien ein Erdbeobachtungsdatenzentrum. Vorrangiges Ziel dieses Datenzentrums ist es, Sentinel Satellitendaten zu speichern und verarbeiten, um sie der Klimaforschung und der interessierten Öffentlichkeit zur Verfügung stellen zu können. Partnern und kommerziellen Firmen wird die Möglichkeit geboten, auf diese Daten zuzugreifen und sie weiter zu verarbeiten.
Im Wesentlichen besteht die EODC-Infrastruktur aus drei Komponenten, nämlich einer Cloud Umgebung (OpenStack), einer Prozessierungseinheit (derzeit VSC3) und dem Storage für das Speichern und Archivieren der Rohdaten und der prozessierten Daten.
Die Sentinel Satellitenflotte wird im Endausbau aus dutzenden Satelliten bestehen. Im Projekt geht es um die ersten beiden Ausbaustufen des Storage, mit der vorrangig Sentinel-1 (Radar) und Sentinel-2 (optische) Daten gespeichert, archiviert und prozessiert werden.
Ursprünglich wollten die Auftraggeber aus Kostengründen ein dreistufig getiertes Storage-System. Wir konnten sie jedoch überzeugen – sowohl technisch als auch preislich – Tier-0 und Tier-1 zusammen zu legen, um somit ein administrativ vereinfachtes Gesamtsystem umzusetzen.
Tier-0 und Tier-1 sind mit einer Gesamtkapazität von 2 Petabyte netto mittels ESS System aufgebaut. Diese sind sowohl über mehrfache 10 Gigabit Ethernet-Connections mit der EODC-OpenStack-Cloud-Umgebung verbunden, als auch über ein Highspeed-Netzwerk mit mehreren Infiniband-Connections zum VSC3-Cluster der Technischen Universität.
Das ESS System schafft einen Datendurchsatz von bis zu 26 GB /Sekunde (12 FDR Infiniband). Als zweites bzw. drittes Tier in dieser Storage-Lösung verwenden wir eine Enterprise Tape Library. Das gesamte System verwendet Spectrum Scale und Spectrum Protect für das automatisierte Information Lifecycle Management (ILM). Aktuell haben wir eine Gesamt-Nettokapazität von 12 Petabyte.
Ing. Martin Vlcsek: „Mit dieser Lösung konnten wir ein hochperformantes Storage-System mit mehreren Tiers und unterschiedlichen Übertragungstechniken zu einem ausgezeichneten Preis-Leistungsverhältnis realisieren.“