TEXAS ADVANCED COMPUTING CENTER
La construction du supercalculateur Frontera au Texas Advanced Computing Center (TACC) a impliqué plusieurs partenaires industriels au cours de plusieurs mois. Dell EMC a livré des racks entièrement intégrés. Mellanox a fourni le réseau HDR InfiniBand. Intel a fourni ses processeurs Cascade Lake 8280. DataDirect Networks a fourni les appareils de stockage. Des systèmes de refroidissement innovants sont venus de Coostera et CoolIT pour les racks; et Green Revolution Cooling avec leur système de refroidissement par immersion pour les unités de traitement graphique. Et c’est pour n’en nommer que quelques-uns.
Un réservoir de stockage thermique d’un million de gallons alimenté par une station de refroidissement sur site fournit un refroidissement efficace à Frontera, ce qui contribue à réduire son empreinte énergétique. L’énergie renouvelable éolienne et solaire répond à une quantité importante, environ un tiers, des besoins de Frontera. En outre, TACC a ajouté une infrastructure pour gérer les 5,9 mégawatts de puissance de Frontera, ce qui équivaut à peu près à environ 1 000 foyers.
D’autres étapes de préparation de la salle des machines pour Frontera ont consisté à construire des stands pour supporter ses transformateurs électriques, qui pèsent des milliers de livres. Et chaque rack nécessitait l’installation d’une plomberie individuelle.
Une fois l’infrastructure de plomberie et d’électricité prête, les premiers racks à arriver étaient les serveurs de stockage de données. DataDirect Networks a fourni un système de fichiers flash avec ses appliances de stockage IME240, avec quatre appliances EXAScaler DDN ES18K à utiliser pour les systèmes de fichiers home et scratch.
Viennent ensuite les six commutateurs centraux Mellanox Quantum CS8500, capables d’une capacité de commutation de 320 téraoctets par seconde vers le réseau InfiniBand Mellanox HDR pour prendre en charge toutes les communications applicatives entre les nœuds de calcul de Frontera.
Une fois les commutateurs de stockage et de réseau en place, le premier des 91 racks de calcul entièrement chargés de Dell EMC est arrivé et a été placé dans la salle des machines. Les racks de calcul se composaient d’un total de 8 008 serveurs à double socket avec des processeurs Intel 8280 Cascade Lake, une technologie éprouvée qui permet à Frontera d’atteindre une performance maximale de 38.7 pétaflops.
Un personnel TACC expérimenté a installé plus de 50 miles de câble d’interconnexion entre les nœuds et les commutateurs de réseau, aidé par des dizaines de bénévoles qui ont aidé à dérouler et à livrer les câbles.
Après avoir travaillé 24 heures sur 24 pour mettre le système en place et le tester, Frontera a exécuté les sous-programmes LINPACK benchmark-number-crunching utilisés par le projet international Top500 pour classer les supercalculateurs les plus rapides au monde. Frontera, financé par la NSF, a obtenu une place de #5 sur la liste des Top500 pour juin 2019, donnant à l’Université du Texas à Austin deux supercalculateurs (Stampede2, #19) classés dans le top 20 des plus rapides au monde.
« Construire Frontera a été un exploit incroyable et a nécessité une grande équipe d’experts », a déclaré Dan Stanzione, Directeur exécutif du TACC et chercheur principal du projet Frontera. « Notre capacité à résister à une machine aussi complexe sous une pression de temps intense est quelque chose qui distingue TACC des autres organisations dans le monde. Nous sommes fiers d’avoir exécuté et sommes maintenant ravis de voir la science étonnante qu’elle peut permettre. »
Les tests et l’accès anticipé des utilisateurs se poursuivront jusqu’au milieu de l’été 2019 avec une production complète prévue pour la fin de l’été 2019.