Hochleistungsrechnen (HPC)

Das „Zentrum für Nationales Hochleistungsrechnen Erlangen“ (NHR@FAU) ist als Teil des RRZE für die Betreuung der Wissenschaftlerinnen und Wissenschaftler der FAU und der angeschlossenen Hochschulen auf dem Gebiet des Hochleistungsrechnens (High Performance Computing, kurz HPC) verantwortlich.

Im Bereich Hochleistungsrechner werden ständig neue Prozessor- und Systemarchitekturen, Compiler und Tools evaluiert, um Anwenderinnen und Anwender mit aktuellen Informationen zu verfügbaren Technologien versorgen zu können. Einen Schwerpunkt im Rahmen der Forschungsarbeit nimmt das Benchmarking ein. Darüber hinaus werden neue Optimierungsstrategien und Algorithmen auf ihre Leistungsfähigkeit zur Lösung numerischer Probleme untersucht. Schließlich sind die Mitarbeitenden in nationale und internationale Forschungskooperationen eingebunden.

Die wissenschaftliche Verantwortung trägt die Professur für Höchstleistungsrechnen unter Prof. Dr. Gerhard Wellein.

Detaillierte Informationen finden Sie auch auf dem Webauftritt des „Zentrums für Nationales Hochleistungsrechnen Erlangen“ (NHR@FAU).

Forschungsprojekte

Die folgende Liste der Forschungsprojekte kommt aus dem zentralen Forschungsinformationssystem CRIS der FAU. Die Projekte sind nach dem Jahr des Förderbeginns sortiert.

  • Quelloffene Lösungsansätze für Monitoring und Systemeinstellungen für energieoptimierte Rechenzentren


    (Drittmittelfinanzierte Einzelförderung)
    Laufzeit: 1. September 2022 - 31. August 2025
    Mittelgeber: Bundesministerium für Bildung und Forschung (BMBF)
    URL: https://eehpc.clustercockpit.org/


    Ziel dieses Vorhabens ist eine Reduzierung der Stromaufnahme bei gleichzeitiger Maximierung des Durchsatzes im Betrieb von HPC-Systemen. Dies wird erreicht, indem Systemparameter, die einen Einfluss auf den Energieverbrauch haben, optimal auf jeweils laufende Jobs eingestellt werden. Um den Durchsatz an Nutzarbeit abzubilden, wird die durch KPI4DCE vorgegebene Metrik Energy Productivity of the IT Equipment verwendet. Das Einsparpotential wird an allen beteiligten Rechenzentren exemplarisch für je zwei ausgewählte Anwendungen demonstriert. Dieses Projekt kombiniert eine umfassende jobspezifische Mess- und Steuerungs-Infrastruktur mit Techniken des maschinellen Lernens (ML) und Software-Hardware- Co-Design mit der Möglichkeit über die Laufzeitumgebungen Energieparameter steuern zu können. Über Policies werden die Rahmenbedingungen vorgegeben, die eigentliche Optimierung der Systemparameter erfolgt automatisch und adaptiv. Zur Erreichung der Ziele muss das GEOPM Open-Source-Framework um eine Komponente des maschinellen Lernens erweitert werden. Um das Potential der Energieeinsparung optimal zu nutzen, wird eine automatische Phasenerkennung sowie Erweiterungen der Laufzeitumgebungen MPI und OpenMP entwickelt, die es erlauben, dem GEOPM-Framework Informationen zum Applikationszustand mitzuteilen. Um benötigte zeitaufgelöste Metriken zum Energieverbrauch sowie Performanceverhalten der Applikation zu erfassen, werden Schnittstellen und Erweiterungen in LIKWID entwickelt. Zur Visualisierung und Steuerung der GEOPM-Funktionalität wird das Framework zum jobspezifischen Performance Monitoring ClusterCockpit erweitert und mit GEOPM gekoppelt. Die Neuheit des Lösungsansatzes ist die Entwicklung und Bereitstellung einer produktreifen Softwareumgebung für eine vollständig benutzertransparente Energieoptimierung von HPC-Applikationen. Das Projekt baut auf bestehende Open-Source-Software-Komponenten auf und integriert, erweitert und adaptiert diese für die neuen Anforderungen. 

  • Der skalierbare Strömungsraum - Performance Engineering


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: Der skalierbare Strömungsraum
    Laufzeit: 1. September 2022 - 31. August 2025
    Mittelgeber: BMBF / Verbundprojekt

    Kommende Exascale-Rechnerarchitekturen werden sich durch eine sehr hohe Zahl an heterogenen Hardware-Komponenten auszeichnen, die auch Spezialprozessoren bzw. Beschleuniger beinhalten werden. Die entsprechende Realisierung von CFD-Anwendersoftware als zentrale Kernkomponente von heutigen Strömungssimulationen im industriellen Umfeld erfordert auf methodischer Seite hochskalierbare Verfahren, vor allem zum Lösen der hochdimensionalen und instationären (nicht)linearen Gleichungssysteme, die zusätzlich in der Lage sein müssen, die hohe Peak Performance von Beschleuniger-Hardware algorithmisch auszunutzen. Zudem müssen diese Verfahrensansätze in der Anwendersoftware so realisiert werden, dass sie für reale Anwendungen, insbesondere bei der Simulation, Kontrolle und Optimierung von industrierelevanten Prozessen, von “Nicht-HPCExperten” verwendet werden und dabei ressourceneffizient die hohe Leistungsfähigkeit von zukünftigen Exascale-Rechnern ausnutzen können. 

    Die vor allem an der TU Dortmund entwickelte Open Source Software FEATFLOW ist ein leistungsstarkes CFD-Werkzeug und zentraler Teil der StrömungsRaum-Plattform, die von IANUS Simulation seit Jahren erfolgreich im industriellen Umfeld eingesetzt wird. Im Rahmen des Gesamtprojektes soll FEATFLOW methodisch und durch hardwarenahe parallele Implementierungen erweitert werden, so dass hochskalierbare CFD-Simulationen mit FEATFLOW auf zukünftigen Exascale-Architekturen möglich werden.

    Im Teilprojekt der FAU werden Methoden und Prozesse des Performance Engineerings eingesetzt und weiterentwickelt, um zielgerichtet Hardwareeffizienz und Skalierung von FEATFLOW für die kommenden Klassen von HPC-Systemen und abzusehenden Exascale-Architekturen zu verbessern und damit die Simulationszeit stark zu verringern. Dabei werden insbesondere die im Rahmen des Projektes geplanten methodischen Erweiterungen bei der Implementierung effizienter Bibliotheken unterstützt. Darüber hinaus werden Performance Modelle für ausgewählte Kernroutinen erstellt, diese Routinen optimiert und deren effiziente Implementierung in Form von Proxy-Applikationen veröffentlicht.

  • Energy Oriented Center of Excellence: toward exascale for energy (Performance evaluation, modelling and optimization)


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: Energy Oriented Center of Excellence: toward exascale for energy
    Laufzeit: 1. Januar 2019 - 31. Dezember 2021
    Mittelgeber: Europäische Union (EU)
  • Selbstadaption für zeitschrittbasierte Simulationstechniken auf heterogenen HPC-Systemen


    (Drittmittelfinanzierte Einzelförderung)
    Laufzeit: 1. März 2017 - 29. Februar 2020
    Mittelgeber: Bundesministerium für Bildung und Forschung (BMBF)

    Das Forschungsprojekt SeASiTe stellt sich der Aufgabe, eine systematische Untersuchung von Selbstadaption für zeitschrittbasierte Simulationstechniken auf heterogenen HPC-Systemen durchzuführen. Das Ziel ist der Entwurf und die Bereitstellung des Prototypen eines Werkzeugkastens, mit dessen Hilfe Programmierer ihre Anwendungen mit effizienten Selbstadaptionstechniken ausstatten können. Der Ansatz beinhaltet die Selbstadaption sowohl hinsichtlich relevanter System- und Programmparameter als auch möglicher Programmtransformationen.
    Die Optimierung der Programmausführung für mehrere nicht-funktionale Ziele (z.B. Laufzeit oder Energieverbrauch) soll auf einer Performance-Modellierung zur Eingrenzung des Suchraums effizienter Programmvarianten aufbauen. Anwendungsunabhängige Methoden und Strategien zur Selbstadaption sollen in einem Autotuning-Navigator gekapselt werden.

    Das Erlanger Teilprojekt beschäftigt sich zunächst mit der modellbasierten Verständnis von Autotuning-Verfahren für reguläre Simulationsalgorithmen am Beispiel verschiedener gängiger Stencilklassen. Dabeisollen mit Hilfe erweiterter Performancemodelle strukturierte Richtlinien und Empfehlungen für den Autotuning-Prozess bzgl. relevanter Code-Transformationen und der Beschränkung des Suchraums für Optimierungsparameter erstellt und für den Autotuning-Navigator exemplarisch aufbereitet werden.
    Der zweite Schwerpunkt der Arbeiten besteht in der Erweiterung bestehender analytischer
    Performancemodelle und Software-Werkzeuge auf neue Rechnerarchitekturen und der Integration in den Autotuning-Navigator. Darüber hinaus betreut der Erlanger Gruppe den Demonstrator für Stencil-Codes.
    Die Gruppe wirkt weiters an der Auslegung des AT-Navigators und der Definition von Schnittstellen mit.
     

  • Prozessorientierte Dienststruktur für Perfomance Engineering von wissenschaftlicher Software an deutschen HPC-Zentren


    (Drittmittelfinanzierte Einzelförderung)
    Laufzeit: 1. Januar 2017 - 31. Dezember 2019
    Mittelgeber: DFG-Einzelförderung / Sachbeihilfe (EIN-SBH)
    URL: https://blogs.fau.de/prope/

    Das Projekt ProPE hat zum Ziel eine nachhaltige und strukturierte Anwenderunterstützung bei der effizienten Programmierung und Nutzung moderner Hochleistungsrechner prototypisch als übergreifendes Angebot mehrerer Tier-2/3 HPC-Zentren mit verteilten Kompetenzen zu implementieren.Im Mittelpunkt steht zunächst Weiterentwicklung, prozessorientierte Formalisierung und Verbreitung eines strukturierten Performance Engineering (PE) Prozesses. Der PE-Prozess bildet die Basis für eine zielgerichtete, strukturierte Optimierung und Parallelisierung wissenschaftlicher Simulationssoftware. Rechenintensive Teile einer Anwendung werden dabei in einem iterativen Zyklus analysiert und optimiert/parallelisiert: Basierend auf einer Code-/Algorithmenanalyse wird in Verbindung mit einer Hardwareanalyse der Zielplattform eine Hypothese für den performancelimitierenden Faktor durch Performancemuster und Performancemodelle gewonnen. Diese wird durch Performancemessungen validiert oder iterativ angepasst. Nach der erfolgreichen Identifizierung des performancelimitierenden Faktors werden geeignete Codeänderungen durchgeführt und der Prozess beginnt von neuem. Die Tiefe des PE-Prozesses kann der Komplexität des Problems und der Erfahrung des HPC-Analysten angepasst werden. ProPE wird diesen bisher von Experten auf prototypischem Niveau angewandten Prozess formalisieren, in verschiedenen Problemkreisen (Einzelprozessor-/Knotenperformance, verteilt parallele Programmierung und IO-intensive Probleme) einsetzen und auf unterschiedlichem Abstraktionsniveau sowohl HPC-Analysten als auch Anwendungsprogrammierern durch gemeinsame Projekte, Weiterbildung und Webdokumentation zugänglich machen. Der zweite Projektschwerpunkt sieht die Integration des PE-Prozesses in eine verteilte IT-Struktur vor, in der die Zentren eigene thematische Beratungsschwerpunkte einbringen. Abläufe, Dokumentation und PE Prozesse bei Beratungsprojekten werden abgestimmt und soweit möglich vereinheitlicht. Ziel ist es das gesamte, über die ProPE-Partner verteilte Beratungsangebot überregional einheitlich zugänglich zu machen. Gleichzeitig wird die Grundlage gelegt, laufende Beratungsprojekte effizient und schnell zwischen den Zentren zu migrieren. Im Zuge der systemseitigen Identifizierung von Programmen mit niedriger Hardwareeffizienz, der Charakterisierung laufender Applikationen sowie der Quantifizierung des Performancefortschritts wird eine einfach handhabbare Leistungsanalysesoftware für moderne Clustersysteme implementiert. Diese ist auf die speziellen Anforderungen des PE-Prozesses ausgerichtet und für einfache Installation und Nutzung durch Tier-2/3 Zentren konzipiert. Im Rahmen von nicht geförderten assoziierten Partnern integriert sich ProPE in die HPC-Versorgungspyramide und bietet den Wissenschaftlern neben Codeoptimierung und Parallelisierung auch einen Ansprechpartner für PE auf algorithmischer Seite.

  • Metaprogrammierung für Beschleunigerarchitekturen


    (Drittmittelfinanzierte Einzelförderung)
    Laufzeit: 1. Januar 2017 - 31. Dezember 2019
    Mittelgeber: Bundesministerium für Bildung und Forschung (BMBF)

    In Metacca wird das AnyDSL Framework zu einer homogenen Programmierumgebung für
    heterogene Ein- und Mehrknoten-Systeme ausgebaut. Hierbei wird die UdS den Compiler und das Typsystem von AnyDSL erweitern, um dem Programmierer das produktive Programmieren von Beschleunigern zu ermöglichen. Darauf aufbauend wird der LSS geeignete Abstraktionen für die Verteilung und Synchronisation auf Ein- und Mehrknoten-Rechnern in Form einer DSL in AnyDSL entwickeln. Alle Komponenten werden durch Performance Modelle (RRZE) unterstützt
    Eine Laufzeitumgebung mit eingebautem Performance-Profiling kümmert sich um Resourcenverwaltung und Systemkonfiguration. Das entstandene Framework wird anhand zweier Anwendungen, Ray-Tracing (DFKI) und Bioinformatik (JGU), evaluiert.
    Als Zielplattformen dienen Einzelknoten und Cluster mit mehreren Beschleunigern (CPUs, GPUs, Xeon Phi).

     

    Die Universität Erlangen-Nürnberg ist hauptverantwortlich für die Unterstützung von verteilter
    Programmierung (LSS) sowie für die Entwicklung und Umsetzung von unterstützenden Performance-Modellen sowie einer integrierten Profiling Komponente (RRZE). In beiden Teilbereichen wird zu Beginn eine Anforderungsanalyse durchgeführt um weitere Schritte zu planen und mit den Partnern abzustimmen.
    Der LSS wird im ersten Jahr die Verteilung der Datenstrukturen umsetzen. Im weiteren Verlauf wird sich die Arbeit auf die Umsetzung von Synchronisationsmechanismen konzentrieren. Im letzten Jahr werden Codetransformationen entworfen, um die Konzepte für Verteilung und Synchronisation in AnyDSL auf die gewählten Anwendungen anzupassen. Das RRZE wird in einem ersten Schritt das kerncraft Framework in die partielle Auswertung integrieren. Hierbei wird kerncraft erweitert um aktuelle Beschleunigerarchitekturen sowie Modelle für die Distributed-Memory-Parallelisierung zu unterstützen. In zwei weiteren Paketen wird eine Ressourcenverwaltung und eine auf LIKWID basierende Profiling Komponente umgesetzt

  • DFG gefördertes Schwerpunktprogramm SPPEXA 1648 "Software for Exascale Comtuting" - Fördermittel für die Durchführung innovativer Lehrkonzepte für High-Prformance Computing (Student Cluster Competitions), Teilnahme an ISC PhD Forum, Internationalisierung der Forschungsarbeit durch Research Stays und die Durchführung und Teilnahme an internationalen Workshops.


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP EXA 1648
    Laufzeit: 1. Januar 2016 - 31. Dezember 2019
    Mittelgeber: DFG-Einzelförderung / Sachbeihilfe (EIN-SBH)
  • EXASTEEL II - Bridging Scales for Multiphase Steels


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP 1648: Software for Exascale Computing
    Laufzeit: 1. Januar 2016 - 31. Dezember 2018
    Mittelgeber: DFG / Schwerpunktprogramm (SPP)
    URL: http://www.numerik.uni-koeln.de/14079.html

    In EXASTEEL-2 arbeiten Experten für skalierbare iterative Löser, rechnergestütze Modellierung in den Materialwissenschaften, Performance Engineering und für parallele direkte Löser zusammen an neuen Algorithmen und Software für ein Grand-Challenge-Problem in den Materialwissenschaften. Es besteht ein zunehmender Bedarf an prädiktiven Simulationen des makroskopischen Verhaltens komplexer neuer Materialien. In EXASTEEL-2 wird dieses Problem für moderne mikroheterogene (Dual-Phasen-) Stähle betrachtet, um die makroskopischen Eigenschaften neuer Materialien aus denen auf der Mikroskale vorherzusagen. Es ist das Ziel, Algorithmen und Software für ein virtuelles Labor zu entwickeln, um in silico prädiktive Materialprüfungen vornehmen zu können. Ein Bottleneck ist der Rechenaufwand für die Multiskalenmodelle. Diese benötigen ausreichend genaue, mikromechanisch motivierte Modelle auf der kristallinen Skala. Daher werden in diesem Projekt neue ultra-skalierbare nichtlineare implizite Löser entwickelt und mit einem hochparallelen numerischen Homogenisierungsverfahren (FE^2) kombiniert, eng verflochten mit einem konsequenten Performance Engineering, um diese anspruchsvolle Anwendung eines virtuellen Labors zur Materialprüfung und zum Materialdesign zum Einsatz auf den zukünftigen Rechnerarchitekturen des Exascale-Computings zu bringen. Für die Materialwissenschaften erwarten wir einen stetigen übergang von deskriptiven zu prädiktiven makroskopischen Simulationen und betrachten, nach unserem Wissen zum ersten Mal innerhalb eines numerischen Homogenisierungsverfahrens, die polykristalline Natur von Dual-Phasenstahl mit Korngrenzeneffekten auf der Mikroskala. Unsere Ziele könnten nicht erreicht werden, ohne auf die Algorithmen- und Software-Infrastruktur aus EXASTEEL-1 aufzubauen. In EXASTEEL-2 werden wir den Paradigmenwechsel von Newton-Krylov zu nichtlinearen Lösern (und ihre Komposition), der in EXASTEEL-1 begonnen wurde, vollständig vollziehen. Diese Verfahren zeichnen sich durch erhöhte Parallelität und reduzierte Kommunikation aus. Durch Kombination nichtlinearer Gebietszerlegungsverfahren mit Mehrgittermethoden wollen wir die Skalierbarkeit der resultierenden Algorithmen für nichtlinear Probleme noch einmal erheblich erhöhen. Obwohl wir hier eine spezielle Anwendung betrachten, werden die Algorithmen und die optimierte Software auch auf andere Probleme anwendbar sein: Nichtlineare implizite Löser sind essentieller Bestandteil vieler Simulationspakete. Bei der von uns verwendeten Software PETSc, BoomerAMG, PARDISO und FEAP handelt es sich um Softwarepakete mit einer großen Nutzerbasis. Die Weiterentwicklung dieser Softwarepakete ist explizit Bestandteil des Arbeitsprogramms dieses Projektes. Dieses Projekt behandelt daher Computational Algorithms (nichtlineare implizite Löser, numerische Homogenisierungsverfahren), Application Software und Programming (Performance Engineering, hybride Programmierung, Beschleuniger).

  • Eigenwertlöser für dünn besetzte Matrixprobleme: Skalierbare Software für Exascale-Anwendungen II (ESSEX-II)


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP 1648: Software for Exascale Computing
    Laufzeit: 1. Januar 2016 - 31. Dezember 2018
    Mittelgeber: DFG / Schwerpunktprogramm (SPP)
    URL: https://blogs.fau.de/essex/activities

    Das ESSEX-II-Projekt wird die in ESSEX-I entstandenen
    erfolgreichen Konzepte und Software-Entwurfsmuster für dünn
    besetzte Eigenlöser nutzen, um breit einsetzbare und skalierbare
    Software-Lösungen mit hoher Hardware-Effizienz für die
    Rechnerarchitekturen der nächsten Dekade zu entwickeln. Alle
    Aktivitäten werden an den traditionellen Schichten numerischer
    Softwareorganisation ausgerichtet: grundlegende Software-Bausteine
    (Kernels), Algorithmen und Anwendungen. Allerdings sind die
    klassischen Abstraktionsgrenzen zwischen diesen Ebenen in ESSEXII
    von starken integrierenden Komponenten durchbrochen:
    Skalierbarkeit, numerische Zuverlässigkeit, Fehlertoleranz und
    holistisches Performance- und Power-Engineering. Getrieben durch
    das Mooresche Gesetz und praktikablen Obergrenzen für
    Verlustleistung werden Rechnersysteme auch auf Knotenebene
    immer paralleler und heterogener, mit entsprechend erhöhter
    Komplexität des Gesamtsystems. MPI+X-Programmiermodelle
    können in flexible an solche Hardwarestrukturen angepasst werden
    und stellen einen Ansatz dar, den Herausforderungen dieser massiv
    parallelen, heterogenen Architekturen zu begegnen. Die Kernel-
    Schicht in ESSEX-II unterstützt folglich MPI+X, wobei X eine
    Kombination von Programmiermodellen ist, die die Heterogenität der
    Hardware zusammen mit funktionaler Parallelität und Datenparallelität
    effizient nutzt. Zusätzlich werden Möglichkeiten zum asynchronen
    Checkpointing, zur Erkennung und Korrektur stiller Datenfehler, zur
    Performance-Überwachung, und zur Energiemessung bereitgestellt.
    Die Algorithmen-Schicht nutzt diese Bausteine, um massiv parallele,
    heterogene und fehlertolerante Implementierungen der für die
    Anwendungsschicht relevanten Algorithmen zu entwickeln: Jacobi-
    Davidson-Eigenlöser, Kernel Polynomial Method und Tschebyschoff-
    Zeitpropagation. Diese können auf modernen Parallelrechnern
    optimale Performance und hohe Genauigkeit liefern.
    Implementierungen der Tschebyschoff-Filterdiagonalisierung,eines
    Krylov-Eigenlösers und des kürzlich vorgestellten FEAST-Algorithmus
    werden im Hinblick auf verbesserte Skalierbarkeit weiter entwickelt.
    Die Anwendungsschicht wird skalierbare Lösungen für konservative
    (hermitesche) und dissipative (nicht-hermitesche) Quantensysteme
    liefern, die durch physikalische Systeme in der Optik und Biologie und
    durch neue Materialien wie Graphen und topologische Isolatoren
    motiviert sind. In Erweiterung des Vorgängerprojektes hat ESSEX-II
    einen zusätzlichen Schwerpunkt im Bereich produktionsreifer
    Software. Obwohl die Auswahl der Algorithmen strikt von
    Anwendungsszenarien in der Quantenphysik motiviert ist, werden die
    zugrunde liegenden Forschungsrichtungen der algorithmischen und
    der Hardware-Effizienz, der Rechengenauigkeit und der
    Fehlertoleranz in viele Bereiche der rechnergestützten
    Wissenschaften ausstrahlen. Alle Entwicklungen werden von einem
    Performance-Engineering-Prozess begleitet, der rigoros
    Abweichungen von der optimalen Ressourcen-Effizienz aufdeckt.

  • TERRA-NEO - Integrated Co-Design of an Exascale Earth Mantle Modeling Framework


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP 1648: Software for Exascale Computing
    Laufzeit: 1. November 2012 - 31. Dezember 2015
    Mittelgeber: DFG / Schwerpunktprogramm (SPP)

    Much of what one refers to as geological activity of the Earth is due to the fact that heat is transported from the interior of our planet to the surface in a planetwide solid-state convection in the Earth’s mantle. For this reason, the study of the dynamics of the mantle is critical to our understanding of how the entire planet works. Processes from earthquakes, plate tectonics, crustal evolution to the geodynamo are governed by convection in the mantle. Without a detailed knowledge of Earth‘s internal dynamic processes, we cannot hope to deduce the many interactions between shallow and deep Earth processes that dominate the Earth system. The vast forces associated with mantle convection cells drive horizontal movement of Earth’s surface in the form of plate tectonics, which is well known albeit poorly understood. They also induce substantial vertical motion in the form of dynamically maintained topography that manifests itself prominently in the geologic record through sea level variations and their profound impact on the ocean and climate system. Linking mantle processes to their surface manifestations is seen widely today as one of the most fundamental problems in the Earth sciences, while being at the same time a matter of direct practical relevance through the evolution of sedimentary basins and their paramount economical importance.Simulating Earth mantle dynamics requires a resolution in space and time that makes it one of the grand challenge applications in the computational sciences. With exascale systems of the future it will be possible to advance beyond the deterministic forward problem to a stochastic uncertainty analysis for the inverse problem. In fact, fluid dynamic inverse theory is now at hand that will allow us to track mantle motion back into the past exploiting the rich constraints available from the geologic record, subject to the availability of powerful geodynamical simulation software that could take advantage of these future supercomputers.The new community code TERRA-NEO will be based on a carefully designed multi-scale spacetime discretization using hybridized Discontinuous Galerkin elements on an icosahedral mesh with block-wise refinement. This advanced finite element technique promises better stability and higher accuracy for the non-linear transport processes in the Earth mantle while requiring less communication in a massively parallel setting. The resulting algebraic systems with finally more than 1012 unknowns per time step will be solved by a new class of communication-avoiding, asynchronous multigrid preconditioners that will achieve maximal scalability and resource-optimized computational performance. A non-deterministic control flow and a lazy evaluation strategy will alleviate the traditional over-synchronization of hierarchical iterative methods and will support advanced resiliency techniques on the algorithmic level.The software framework of TERRA-NEO will be developed specifically for the upcoming heterogeneous exascale computers by using an advanced architecture-aware design process. Special white-box performance models will guide the software development leading to a holistic co-design of the data structures and the algorithms on all levels. With this systematic performance engineering methodology we will also optimize a balanced compromise between minimal energy consumption and shortest run time.This consortium is fully committed to the interdisciplinary collaboration that is necessary for creating TERRA-NEO as new exascale simulation framework. To this end, TERRA-NEO brings top experts together that cover all aspects of CS&E, from modeling via the discretization to solvers and software engineering for exascale architectures.

  • ESSEX - Equipping Sparse Solvers for Exascale


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP 1648: Software for Exascale Computing
    Laufzeit: 1. November 2012 - 31. Dezember 2015
    Mittelgeber: DFG / Schwerpunktprogramm (SPP)

    The ESSEX project investigates the computational issues arising for large scale sparse eigenvalue problems and develops programming concepts and numerical methods for their solution. The exascale challenges of extreme parallelism, energy efficiency, and resilience will be addressed by coherent software design between the three project layers which comprise building blocks, algorithms and applications. The MPI+X programming model, a holistic performance engineering strategy, and advanced fault tolerance mechanisms are the driving forces behind all developments. Classic Krylov, Jacobi-Davidson and recent FEAST methods will be enabled for exascale computing and equipped with advanced, scalable preconditioners. New implementations of domainspecific iterative schemes in physics and chemistry, namely the established Chebyshev expansion techniques for the computation of spectral properties and their novel extension to the time evolution of driven quantum systems, complement these algorithms.The software solutions of the ESSEX project will be combined into an Exascale Sparse Solver Repository (“ESSR”), where the specific demands of the quantum physics users are recognized by integration of quantum state encoding techniques at the fundamental level. The relevance of this project can then be demonstrated through application of the ESSR algorithms to graphene-based structures, topological insulators, and quantum Hall effect devices. Such studies require exascale resources together with modern numerical methods to determine many eigenstates at a given point of the spectrum of extremely large matrices or to compute an approximation to their full spectrum. The concepts, methods and software building blocks developed in the ESSEX project serve as general blueprints for other scientific application areas that depend on sparse iterative algorithms. The strong vertical interaction between all three project layers ensures that the user can quickly utilize any progress on the lower layers and immediately use the power of exascale machines once they become available.

  • EXASTEEL - Bridging Scales for Multiphase Steels


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP 1648: Software for Exascale Computing
    Laufzeit: 1. November 2012 - 31. Dezember 2015
    Mittelgeber: DFG / Schwerpunktprogramm (SPP)

    This project adresses algorithms and Software for the Simulation of three dimensional multiscale material science problems on the future Supercomputers developed for exascale computing.The performance of modern high strength steels is governed by the complex interaction of the individual constituents on the microscale. Direct computational homogenization schemes such as the FE2 method allow for the high fidelity material design and analysis of modern steels. Using this approach, fluctuations of the local field equations (balance laws) can be resolved to a high accuracy, which is needed for the prediction of failure of such micro-heterogeneous materials.Performing the scale bridging within the FE2 method for realistic problems in 3D still requires new ultra-scalable, robust algorithms and solvers which have to be developed and incorporated into a new application Software.Such algorithms must be specifically designed to allow the efficient use of the future hardware.Here, the direct multiscale approach (FE2) will be combined with new, highly efficient, parallel solver algorithms. For the latter algorithms, a hybrid algorithmic approach will be taken, combining nonoverlapping parallel domain decomposition (FETl) methods with efficient parallel multigrid preconditioners. A comprehensive performance engineering approach will be implemented guided by the Pl Wellein, to ensure a systematic optimization and parallelization process across all Software layers.This project builds on parallel Simulation Software developed for the solution of complex nonlinear structural mechanics problem by the Pls Schröder, Balzani and Klawonn, Rheinbach. !t is based on the application Software package FEAP (Finite Element Analysis Program, R. Taylor, UC Berkeley). Within a new Software environment FEAP has been combined with a FETI-DP domain decomposition solver, based on PETSc (Argonne National Laboratory) and hypre (Lawrence Livermore National Laboratory), e.g„ to perform parallel simulations in nonlinear biomechanics. The optimization, performance modeling and performance engineering will be guided by the Pl Wellein. The Pls Schröder and Balzani have performed FE2-simulations in the past using an extended version of FEAP.The envisioned scale-bridging for realistic, advanced engineering problems in three dimensions will require a computational power which will only be obtainable when exascale computing becomes available.

  • ESSEX - Equipping Sparse Solvers for Exascale


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: SPP 1648: Software for Exascale Computing
    Laufzeit: 1. November 2012 - 30. Juni 2019
    Mittelgeber: DFG / Schwerpunktprogramm (SPP)

    The ESSEX project investigates the computational issues arising for large scale sparse eigenvalue problems and develops programming concepts and numerical methods for their solution. The exascale challenges of extreme parallelism, energy efficiency, and resilience will be addressed by coherent software design between the three project layers which comprise building blocks, algorithms and applications. The MPI+X programming model, a holistic performance engineering strategy, and advanced fault tolerance mechanisms are the driving forces behind all developments. Classic Krylov, Jacobi-Davidson and recent FEAST methods will be enabled for exascale computing and equipped with advanced, scalable preconditioners. New implementations of domainspecific iterative schemes in physics and chemistry, namely the established Chebyshev expansion techniques for the computation of spectral properties and their novel extension to the time evolution of driven quantum systems, complement these algorithms.The software solutions of the ESSEX project will be combined into an Exascale Sparse Solver Repository (“ESSR”), where the specific demands of the quantum physics users are recognized by integration of quantum state encoding techniques at the fundamental level. The relevance of this project can then be demonstrated through application of the ESSR algorithms to graphene-based structures, topological insulators, and quantum Hall effect devices. Such studies require exascale resources together with modern numerical methods to determine many eigenstates at a given point of the spectrum of extremely large matrices or to compute an approximation to their full spectrum. The concepts, methods and software building blocks developed in the ESSEX project serve as general blueprints for other scientific application areas that depend on sparse iterative algorithms. The strong vertical interaction between all three project layers ensures that the user can quickly utilize any progress on the lower layers and immediately use the power of exascale machines once they become available.

  • Eine fehlertolerante Umgebung für peta-scale MPI-Löser


    (Drittmittelfinanzierte Gruppenförderung – Teilprojekt)
    Titel des Gesamtprojektes: FEToL
    Laufzeit: 1. Juni 2011 - 31. Mai 2014
    Mittelgeber: Bundesministerium für Bildung und Forschung (BMBF)
  • SKALB: Lattice Boltzmann Methods for Scalable Multi-Physic Applications


    (Drittmittelfinanzierte Gruppenförderung – Gesamtprojekt)
    Laufzeit: 1. Januar 2009 - 31. Dezember 2011
    Mittelgeber: BMBF / Verbundprojekt, Bundesministerium für Bildung und Forschung (BMBF)

    The SKALB project is sponsored by the German Federal Ministry of Education and Research (BMBF). Its goal is the efficient implementation and further development of flow solvers based on the lattice Boltzmann method to allow large-scale simulation with complex multi-physics on petascale class computers. The lattice Boltzmann method is well accepted within the field of computational fluid dynamics (CFD). The main advantage of this numerical method is its simplicity which allows the simulation of flow in complex geometries like porous media or foams as well as highly efficient direct numerical simulations of turbulent flows. In the SKALB project lattice Boltzmann implementations should be methodically and technically further developed for the new class of large-scale heterogeneous and homogeneous parallel supercomputers. The HPC group of the Erlangen Regional Computing Center (RRZE) have long-standing expertise in performance modeling and efficient implementation of the lattice Boltzmann method on a broad spectrum of modern computers. They also work on new programming models and advanced optimization techniques for multi-/many-core processors. A full-grown lattice Boltzmann application code, which is under development at RRZE, is intended to be used in cooperation with Prof. Schwieger (Chair of Chemical Reaction Engineering) for massively parallel simulations of flow in porous media.