Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) (Bild 1) in Kaiserslautern ist auf dem Gebiet innovativer Softwaretechnologien auf der Basis von Methoden der Künstlichen Intelligenz die führende wirtschaftsnahe Forschungseinrichtung in Deutschland. Das Kompetenzzentrum Deep Learning konzentriert seine Forschung auf Deep-Learning- und Machine-Learning-Algorithmen.
Leistungsfähigste Rechenmaschine für KI-Verfahren
Um die einzigartige Infrastruktur von der Grundlagenforschung bis zum industriellen Wissenstransfer weiter auszubauen, erhält das DFKI als erste Institution in Europa einen Nvidia-DGX-2-Supercomputer (Bild 2), der als die derzeit leistungsfähigste Rechenmaschine der Welt für moderne KI-Verfahren gilt. Unter anderem gehört zu den Forschungsarbeiten die Analyse von Satellitenbildern zur Erkennung und Erfassung der Auswirkungen von Naturkatastrophen.
Bild: Mitsubishi Electric
Flexible Netzwerkoptionen
Der KI-Supercomputer mit einer Leistung von 2 PetaFlops basiert auf einer KI-Netzwerkstruktur, die einen Durchsatz von 2,5 TB pro Sekunde liefert. Die Netzwerkstruktur der DGX-2 integriert 16 „Nvidia Tesla V100 Tensor Core GPUs“, die über Nvidia NVSwitch verbunden sind. Die innovative Technologie bietet eine 12-fache Verbesserung gegenüber den Vorgänger-Generationen und eine 5-mal schnellere Realisierung von Lösungen. Dadurch werden flexible Netzwerkoptionen für den Aufbau sehr umfangreicher Deep-Learning-Rechen-Cluster in Kombination mit einer Skalierung der Virtualisierungsgeschwindigkeit und einer Optimierung der Benutzer- und Workloadisolation in gemeinsamen Infrastrukturumgebungen möglich. Auch wenn man mit den Spezifikationen nicht so bewandert ist – man ahnt zu Recht, dass sie mit hohen Anforderungen an die IT-Kühlung einhergehen.
Extrem hohe Rechenleistung auf sehr kleinem Raum
Der neue Superrechner arbeitet am Cluster zusammen mit drei DGX-1-Computern (jeweils 1 PetaFlop Rechenleistung) sowie aktuell 18 weiteren hochintegrierten GPU-Computern. Er steht in einem eigens dafür geschaffenen Serverraum im Tiefgeschoss der Hauptniederlassung in der Forschungsmeile in Kaiserslautern. Für den Betrieb, der unter anderem allein für diesen Superrechner einen 1,75-Petabyte großen Datenspeicher (Bild 3) umfasst, in dem unter anderem mehr als 100 Mio. Bilder als Trainingsdaten für den Computer-Cluster gespeichert sind, ist eine Mittelspannungsversorgung von 0,25 MW installiert.
Gegen erhöhte Wärmelasten intelligent ankühlen
Die extrem hohe Rechenleistung auf sehr kleinem Raum führt zu einem deutlichen Wachstum der spezifischen Wärmelasten und zu erhöhten Anforderungen an die IT-Kühlung. Um die Superrechner zu kühlen, benötigt das DFKI eine intelligente IT-Klimatisierung, die die vielfältigen Anforderungen an eine präzise, zuverlässige, energiesparende und schallreduzierte Kühlung des DGX-2 und der anderen Computer gewährleistet.
Bild: Mitsubishi Electric
Viel Kälteleistung mit wenig Energieeinsatz
Die Hauptanforderung für die Klimatisierung ist eine hohe Kälteleistung auf sehr kleinem Raum mit einem vergleichsweise geringen Energieeinsatz unterzubringen. Des Weiteren sind durch die Lärmschutzvorschriften enge Grenzen gesetzt, um die umliegenden Anwohner nicht durch Geräusche von im Freien aufgestellten Komponenten zu stören.
Möglichst wenig Strom verbrauchen
Hinzu kommt, dass die Kühlung einen hohen Anteil des Energieverbrauchs im neuen Rechenzentrum ausmacht. Das Gesamtkonzept wurde deshalb auch mit Blick auf eine dauerhaft wirtschaftliche Betriebsweise, d. h. möglichst geringem Stromverbrauch, umgesetzt. Um die vielfältigen Anforderungen an die Kühlung des DGX-2 zu gewährleisten, musste ein bis ins Kleinste durchdachtes Klimatisierungskonzept mit energieeffizienten und leistungsstarken Systemlösungen zur IT-Kühlung erstellt werden.
Zwei 100-kW-Klimaschränke einsetzen
Das Konzept für die IT-Kühlung wurde vom Planungsbüro S2 Sappok & Stutterich, Pirmasens, unter Mitwirkung von Walter Sommer, Leiter der Infrastrukturgruppe am DFKI in Kaiserslautern erstellt. Einen wesentlichen Teil des Konzepts bilden Lösungen von RC IT Cooling, einer Marke von Mitsubishi Electric, mit zwei Präzisionsklimaschränken vom Typ i-NEXT FC DW (Bild 4).
Sicheren Betrieb gewährleisten
Die wassergekühlten Klimaschränke mit Direktverdampfung und Vollinvertertechnologie sowie Free-Cooling-Funktion haben jeweils eine Leistung von 100 kW. Für die Freikühlfunktion und die Rückkühlung stehen zwei Rückkühler in Ultra-leise-Ausführung mit jeweils 120 kW zur Verfügung. Der redundante Aufbau solcher Anlagen ist die übliche Vorgehensweise, um die Betriebssicherheit zu gewährleisten. Zudem findet ein automatischer Betriebsstundenabgleich der beiden Klimaschränke im Wochenrhythmus statt.
Bild: Mitsubishi Electric
Exakte Temperatur- und Feuchteregelung
Die i-NEXT-Serie von RC IT Cooling ist speziell für die Präzisionsklimatisierung von Servern und IT-Räumen entwickelt worden und bietet ein optimales Verhältnis von Leistung zu Standfläche. Sie ermöglichen eine präzise Temperatur- und Feuchteregelung sowie eine Be- und Entfeuchtung. Energiesparende und geräuschoptimierte EC-Hochleistungsventilatoren sorgen für einen geregelten Luftstrom. Die Ventilatoren passen sich der thermischen Belastung an, die durch Sensoren im Warm- und Kaltgang erfasst wird. Der Regler evolution+ steuert die Aktivierungszeiten der Verdichter mit FIFO-Logik (First In – First Out) und passt die erzeugte Kälteleistung an den momentanen Wärmeeinfall an. Zudem besteht die Möglichkeit, alle Daten an ein übergeordnetes Überwachungs- und Fernwartungssystem zu übertragen.
Thermisches Energiemanagement
Die beiden Klimaschränke sind jeweils links und rechts an den Stirnseiten des Serverraums aufgestellt (Bild 5). In der Mitte mit einem umlaufenden Gang befinden sich fünf Racks mit dem neuen Rechner und seinen peripheren IT-Komponenten. Um eine optimale und energieeffiziente Kühlung zu ermöglichen, ist die Serverklimatisierung nach dem Down-Flow-Prinzip gestaltet. Während die Luftansaugung von oben in den Klimaschrank erfolgt, findet der Luftauslass nach unten in einen Doppelboden statt. Durch Auslassöffnungen im Doppelboden, die sich an der Vorderseite der Racks befinden (6), wird eine optimale Luftverteilung im Rechenzentrum erreicht. Auf diese Weise wird auf der Luftansaugseite der Racks ein Kaltgang gebildet.
Bild: Mitsubishi Electric
Bild: Mitsubishi Electric
Kaltluft präzise lenken
Die Racks saugen die kalte Luft an und blasen auf der Rückseite die warme Luft in den sogenannten Warmgang, die dann wiederum von dem jeweils in Betrieb befindlichen Klimaschrank angesaugt und gekühlt wird. Die Entscheidung für eine Gangeinhausung, ist bei diesem Projekt zugunsten einer Kaltgangeinhausung zur präzisen Lenkung der den Servern zugeführten Kaltluft getroffen worden. Durch den Warm- und Kaltgang sowie den angepassten Luftstrom kann eine konstante Temperatur gewährleistet werden. Die Arbeitsbedingungen werden stabiler und die Effizienz der gesamten Klimatisierung steigt.
Bild: Mitsubishi Electric
Temperaturniveau sicherstellen
Einen Großteil der Betriebszeit arbeitet der Präzisionsklimaschrank im Hybrid- oder im vollständigen Freikühlbetrieb. Im Regelbetrieb erfolgt zunächst die Kühlung mit Wasser über die Freikühlfunktion. Übersteigen die Wärmelasten einen bestimmten Referenzpunkt, kommt ein Kompressor hinzu und kühlt die angesaugte Luft mittels eines Kältemittelkreislaufs zusätzlich. Steigen die Kälteanforderungen über einen weiteren Temperaturreferenzwert hinaus, schaltet sich der zweite Kompressor im Klimaschrank hinzu, um das vom Hersteller geforderte Temperaturniveau von 21°C am neuen Superrechner sicherzustellen.
Minimale Schallemissionen im Umfeld
Die sehr großzügig ausgelegten Rückkühler führen zur Erfüllung der vierten wichtigen Anforderung bei diesem Projekt. Die Minimierung der Schallleistung konnte durch die Innenaufstellung der Klimaschränke mit EC-Ventilatoren, Inverter-Kompressortechnik und Pumpenstation erreicht werden.
Geringere Drehzahlen erzielen
Die Rückkühler im Außenbereich (7) haben großzügig ausgelegte Wärmeübertragerflächen und größer dimensionierte Ventilatoren als in der Standardausführung. Dadurch werden wesentlich geringere Drehzahlen mit dem Ergebnis einer Schallleistung von maximal 35 dB(A) in 1 m Entfernung erzielt.
Dieser Artikel ist eine Überarbeitung des Artikels „Präzisions-IT-Kühlung für Superrechner“ von Maik Sommer M.A., erschienen in TGA 01-2020.
