TEXAS ADVANCED COMPUTING CENTER
An der Konstruktion des Frontera-Supercomputers im Texas Advanced Computing Center (TACC) waren mehrere Industriepartner über mehrere Monate beteiligt. Dell EMC lieferte voll integrierte Racks. Mellanox stellte das HDR InfiniBand-Netzwerk zur Verfügung. Intel stellte seine 8280 Cascade Lake Prozessoren zur Verfügung. DataDirect Networks lieferte die Speichergeräte. Innovative Kühlsysteme kamen von Cooltera und CoolIT in die Racks; und Green Revolution Cooling mit ihrem Immersionskühlsystem für die Grafikprozessoren. Und das ist nur ein paar zu nennen.
Ein thermischer Speicher mit einer Kapazität von einer Million Gallonen, der von einer Vor-Ort-Kühlstation geliefert wird, sorgt für eine effiziente Kühlung von Frontera, wodurch der Energiebedarf gering gehalten wird. Erneuerbare Energien aus Wind und Sonne decken einen erheblichen Teil des Bedarfs von Frontera, etwa ein Drittel. Darüber hinaus fügte TACC eine Infrastruktur hinzu, um die 5,9 Megawatt Leistung von Frontera zu bewältigen, was in etwa 1.000 Haushalten entspricht.
Weitere Schritte bei der Vorbereitung des Maschinenraums für Frontera beinhalteten den Bau von Ständen zur Unterstützung seiner elektrischen Transformatoren, die tausende Pfund wiegen. Und für jedes Rack mussten individuelle Rohrleitungen installiert werden.
Sobald die Sanitär- und Elektroinfrastruktur fertig war, kamen als erste Racks die Datenspeicherserver an. DataDirect Networks lieferte mit ihren IME240-Speichergeräten ein Flash-basiertes Dateisystem mit vier DDN ES18K EXAScaler-Appliances für das Heim- und Scratch-Dateisystem.
Als nächstes kamen die sechs Mellanox Quantum CS8500 Core Switches, die eine Switching-Kapazität von 320 Terabyte pro Sekunde zum Mellanox HDR InfiniBand-Netzwerk bieten, um die gesamte Anwendungskommunikation zwischen den Rechenknoten von Frontera zu unterstützen.
Nachdem die Speicher- und Netzwerk-Switches installiert waren, kamen die ersten von 91 voll beladenen Compute-Racks von Dell EMC an und wurden im Maschinenraum platziert. Die Compute-Racks bestanden aus insgesamt 8.008 Dual-Socket-Servern mit Intel 8280 Cascade Lake-Prozessoren, einer bewährten Technologie, mit der Frontera eine Spitzenleistung von 38 erreichen kann.7 petaflops.
Ein erfahrener TACC-Mitarbeiter installierte über 50 Meilen Verbindungskabel zwischen den Knoten und den Netzwerk-Switches, unterstützt von Dutzenden von Freiwilligen, die beim Abwickeln und Liefern von Kabeln halfen.
Nachdem Frontera rund um die Uhr daran gearbeitet hatte, das System aufzustellen und zu testen, führte es die LINPACK Benchmark – Number-Crunching—Subroutinen durch, die vom internationalen Top500-Projekt verwendet wurden, um die schnellsten Supercomputer der Welt zu bewerten. Das von NSF finanzierte Frontera erreichte im Juni 2019 Platz 5 auf der Top500-Liste und verschaffte der University of Texas in Austin zwei Supercomputer (Stampede2, Platz 19), die zu den 20 schnellsten der Welt gehörten.
„Der Bau von Frontera war eine unglaubliche Leistung und erforderte ein großes Expertenteam“, sagte Dan Stanzione, Executive Director von TACC und Principal Investigator des Frontera-Projekts. „Unsere Fähigkeit, eine so komplexe Maschine unter starkem Zeitdruck zu halten, unterscheidet TACC von anderen Organisationen auf der Welt. Wir sind stolz darauf und freuen uns jetzt, die erstaunliche Wissenschaft zu sehen, die sie ermöglichen kann.“
Die Tests und der frühe Benutzerzugriff werden bis Mitte Sommer 2019 fortgesetzt, wobei die vollständige Produktion für den Spätsommer 2019 erwartet wird.