Où va la chaleur : comment fonctionne le refroidissement des centres de données
Imaginons un kilowatt d'électricité entrant dans un serveur.
Une partie sert à transférer des données, entraîner un modèle, rendre une image ou répondre à une requête. Mais l'énergie ne disparaît pas une fois le travail informatique terminé. Presque toute cette énergie se transforme en chaleur.
Un kilowatt entrant devient environ un kilowatt de chaleur qu'il faut évacuer.
Appliquez cela à l'échelle d'une baie, d'une salle, puis d'un centre de données entier, et le refroidissement devient plus facile à comprendre. Son rôle n'est pas de créer du froid, mais de déplacer la chaleur à travers une série de relais jusqu'à ce qu'elle atteigne un endroit où l'équipement informatique n'a plus à la gérer.
Le premier relais peut se faire du processeur vers un dissipateur thermique ou une plaque froide. Le suivant peut utiliser de l'air, de l'eau, un fluide frigorigène ou un liquide diélectrique. Des ventilateurs ou des pompes déplacent la chaleur hors du serveur. Un autre système l'évacue de la salle informatique. Au bout de la chaîne, l'installation la rejette dans l'air extérieur, perd une partie de l'eau par évaporation ou en transfère une partie vers un système de chauffage voisin.
Le Lawrence Berkeley National Laboratory décrit les centres de données comme des installations à haute densité de puissance où presque toute l'électricité devient de la chaleur. Les systèmes de refroidissement consomment alors de l'énergie supplémentaire, et parfois de l'eau, pour évacuer cette chaleur vers l'environnement extérieur. (eta.lbl.gov)
C'est pourquoi le débat habituel entre refroidissement par air et refroidissement par liquide peut être trompeur. L'air et le liquide ne sont pas toujours des descriptions concurrentes d'un centre de données complet. Ils peuvent décrire différentes étapes d'un même parcours thermique.
Pour comprendre comment fonctionne un système de refroidissement, suivez la chaleur.
De la puce à la salle
Dans un serveur refroidi par air classique, la chaleur quitte le processeur via un dissipateur thermique. Des ventilateurs aspirent l'air à travers les composants chauds et expulsent l'air réchauffé hors du serveur.
L'installation fournit de l'air plus frais à l'avant de la baie et collecte l'air chaud à l'arrière. Les rangées sont généralement organisées en allées froides et allées chaudes, avec un confinement utilisé pour empêcher les deux flux d'air de se mélanger avant que la chaleur ne soit évacuée.
L'air transporte ensuite la chaleur vers les unités de climatisation ou de traitement d'air de la salle informatique. Selon l'installation, cet équipement peut transférer la chaleur vers un fluide frigorigène, de l'eau glacée ou une autre partie du système de refroidissement.
Cette architecture reste utile car elle est mature et largement prise en charge. La plupart des composants de serveurs sont conçus pour fonctionner dans un flux d'air, et de nombreuses charges de travail conventionnelles ne produisent pas assez de chaleur dans une baie pour justifier une approche plus complexe.
La limite n'est pas que l'air cesse de fonctionner. C'est qu'évacuer plus de chaleur nécessite de déplacer plus d'air.
Les ventilateurs deviennent plus grands ou plus rapides. Les conduits, les faux planchers, les allées et le confinement doivent gérer des volumes plus importants. La consommation d'énergie des ventilateurs augmente. Les points chauds deviennent plus difficiles à contrôler. Finalement, la quantité de chaleur concentrée à l'intérieur d'une baie commence à dépasser ce qu'un système uniquement à air peut évacuer de manière pratique.
C'est la pression que l'IA a intensifiée.
L'informatique accélérée moderne regroupe un grand nombre de GPU gourmands en énergie. L'ASHRAE décrit désormais des densités de centres de données traditionnels d'environ 5 à 15 kW par rack, parallèlement à des environnements d'IA atteignant 60 à 120 kW par rack, voire plus. Il recommande un refroidissement liquide ou assisté par liquide pour ces systèmes à plus haute densité, tout en conservant l'air là où cela reste pertinent. (ashrae.org)
Le changement ne consiste donc pas tant à remplacer l'air par du liquide dans tout le bâtiment qu'à réduire la distance entre les composants les plus chauds et un fluide capable d'évacuer leur chaleur.
Dans le refroidissement direct sur puce, des plaques froides sont placées sur les processeurs tels que les CPU et les GPU. Le liquide de refroidissement circule dans des canaux à l'intérieur des plaques et absorbe la chaleur au plus près de sa source. Le liquide réchauffé est ensuite acheminé par des tuyaux vers une unité de distribution de refroidissement, qui régule la température, la pression et le débit tout en transférant la chaleur vers le système de refroidissement de l'installation.
Les échangeurs de chaleur de porte arrière interviennent un peu plus tard. Les ventilateurs des serveurs continuent de pousser l'air chaud à travers le rack, mais une porte refroidie par liquide à l'arrière capture une grande partie de cette chaleur avant qu'elle ne pénètre dans la salle.
Le refroidissement par immersion supprime plus radicalement le circuit d'air habituel. Les composants du serveur sont placés dans un fluide diélectrique non conducteur d'électricité. La chaleur est transférée directement dans le fluide, puis via un échangeur thermique vers un autre circuit.
Ces systèmes ont des conséquences différentes en termes de matériel, de maintenance, de tuyauterie, de gestion des fuites, de charge au sol, de commandes et de température de sortie de la chaleur. Ils ne doivent pas être regroupés dans une seule catégorie simplement parce qu'ils utilisent tous du liquide.
Le refroidissement direct sur puce est devenu l'option privilégiée pour l'IA haute densité et le calcul haute performance, car il fonctionne avec des formats de serveurs familiers tout en extrayant la chaleur directement des composants qui en produisent le plus. L'ASHRAE le décrit comme l'approche de refroidissement liquide la plus mature et la plus fiable pour les déploiements vastes et denses. (ashrae.org)
Mais atteindre le liquide de refroidissement n'est pas la fin du voyage.
La chaleur doit encore quitter le bâtiment.
De la salle au monde extérieur
C'est la partie du refroidissement des centres de données que les étiquettes courantes occultent souvent.
Un serveur peut être qualifié avec précision de refroidi par liquide alors que l'installation rejette finalement sa chaleur via une tour de refroidissement par évaporation. Un autre système refroidi par liquide peut utiliser l'air extérieur et des aérorefroidisseurs. Une salle de serveurs nominalement refroidie par air peut transférer sa chaleur vers un grand système d'eau glacée situé ailleurs dans le bâtiment.
L'étiquette apposée sur le serveur ne nous dit pas ce qui se passe à la fin de la chaîne.
Le département de l'Énergie des États-Unis illustre cela avec deux trajets thermiques courants. Dans une conception conventionnelle à eau glacée, l'équipement informatique chauffe l'air ambiant. L'équipement de traitement d'air transfère cette chaleur vers l'eau glacée. Un refroidisseur la transmet ensuite à une boucle d'eau de condensation, qui l'achemine vers une tour de refroidissement. L'évaporation au niveau de la tour libère finalement la chaleur dans l'atmosphère.
Dans une conception à refroidissement liquide direct, une boucle de recirculation capture la chaleur au plus près de l'équipement informatique et l'achemine vers une unité de distribution de refroidissement. Cependant, l'installation peut toujours transférer cette chaleur vers l'eau de condensation, puis vers une tour de refroidissement. Le refroidissement liquide au niveau du rack a modifié une partie du trajet, tandis que la méthode finale de rejet de chaleur reste l'évaporation. (energy.gov)
Une tour de refroidissement tire parti de la capacité de l'eau à évacuer une grande quantité de chaleur lors de son évaporation. Cela permet de réduire l'électricité nécessaire à l'évacuation de la chaleur, mais l'eau quitte continuellement le système et doit être remplacée.
Un aérorefroidisseur fonctionne davantage comme un grand radiateur. Des ventilateurs font circuler l'air extérieur sur des serpentins contenant un fluide plus chaud, transférant ainsi la chaleur dans l'air sans dépendre de l'évaporation comme mécanisme principal d'évacuation thermique. Cette approche peut réduire la demande directe en eau, bien que ses performances dépendent fortement de la température extérieure.
Les refroidisseurs utilisent un cycle frigorifique pour déplacer la chaleur d'un circuit froid vers un circuit plus chaud. Les compresseurs permettent d'évacuer la chaleur même lorsque les différences de température naturelles sont insuffisantes, mais ils consomment de l'électricité.
De nombreuses installations combinent ces méthodes. Un système peut utiliser directement les conditions extérieures lorsque le temps le permet, la réfrigération mécanique pendant les périodes plus chaudes et l'évaporation lorsqu'une capacité d'évacuation thermique supplémentaire est nécessaire.
C'est pourquoi le climat doit être intégré à la conception du refroidissement.
Un système fonctionnant dans un climat nordique frais peut passer de longues périodes à utiliser l'air extérieur ou l'évacuation thermique sèche avec un fonctionnement limité des compresseurs. Le même équipement dans un climat chaud dispose d'une différence de température plus faible pour évacuer la chaleur vers l'extérieur. Il peut nécessiter plus de puissance de ventilation, plus de réfrigération mécanique, de l'évaporation ou un système d'évacuation thermique plus important.
Les directives actuelles de l'ASHRAE pour les centres de données utilisant l'IA privilégient les boucles de liquide à eau tiède, en partie parce qu'un liquide de refroidissement plus chaud peut augmenter le nombre d'heures pendant lesquelles les aérorefroidisseurs fonctionnent sans refroidisseurs. Mais elles notent également que la chaleur extérieure extrême peut toujours nécessiter une autre forme d'assistance. (ashrae.org)
Aucune méthode de refroidissement n'échappe à son environnement.
Elle établit simplement une relation différente avec cet environnement.
Les expressions qui prêtent le plus à confusion
Une fois le cheminement complet de la chaleur visible, plusieurs contradictions apparentes disparaissent.
Un centre de données refroidi par liquide peut consommer peu d'eau sur site, ou il peut finalement utiliser une tour de refroidissement par évaporation. L'expression identifie une méthode de transfert thermique quelque part dans le système, et non la quantité d'eau traversant la limite de l'installation.
Un centre de données refroidi par air peut tout de même contenir des circuits de réfrigérant et de liquide. L'équipement informatique peut libérer de la chaleur dans l'air tandis que d'autres systèmes utilisent du liquide pour évacuer cette chaleur hors de la salle.
Un circuit fermé fait recirculer son fluide caloporteur au lieu de le remplacer continuellement. Cela ne signifie pas que l'ensemble du système de refroidissement ne consomme pas d'eau. Un circuit fermé peut transférer la chaleur vers un autre système qui utilise l'évaporation plus loin dans la chaîne.
Cette distinction est examinée plus en détail dans notre article sur ce que signifie, et ne signifie pas, le refroidissement en circuit fermé pour les centres de données.
Le « free cooling » (ou refroidissement gratuit) est un autre terme qui mérite d'être clarifié. Il ne signifie pas un refroidissement sans équipement ni énergie. Il désigne généralement le fait que des conditions extérieures favorables permettent à l'installation de réduire ou de contourner la réfrigération par compresseur. Les ventilateurs, pompes, commandes et échangeurs de chaleur restent en fonctionnement.
Même la « consommation d'eau » peut décrire plusieurs situations différentes. L'eau peut être présente dans un circuit scellé, prélevée sur une source locale, consommée par évaporation, rejetée et remplacée, ou utilisée en amont pour la production d'électricité. Notre article sur la question de l'eau derrière chaque centre de données définit ces limites.
La même prudence s'applique à l'efficacité.
Le refroidissement consomme de l'électricité via les ventilateurs, pompes, compresseurs, refroidisseurs et systèmes de contrôle. Réduire cette charge auxiliaire peut améliorer l'efficacité de l'utilisation de l'énergie (PUE). Mais un PUE plus faible ne révèle pas si le système de refroidissement a consommé plus d'eau pour y parvenir.
C'est pourquoi le PUE doit être associé à ses conditions d'exploitation et à ses limites de ressources.
Ces distinctions ne sont pas du pédantisme technique. Elles déterminent si deux installations sont réellement comparables.
L'IA a déplacé l'endroit où se situe le goulot d'étranglement
Un centre de données conventionnel peut disposer de suffisamment d'espace au sol et de capacité électrique pour une rangée de serveurs supplémentaire, tout en étant incapable d'héberger un système GPU haute densité.
La capacité manquante est thermique.
Si les ventilateurs des serveurs ne peuvent pas évacuer suffisamment de chaleur des composants, ou si le système de la salle ne peut pas évacuer cette chaleur assez rapidement, le matériel informatique ne peut pas fonctionner de manière fiable à sa charge prévue. Augmenter la puissance sur le site ne résout pas le problème. Cela crée davantage de chaleur que le même système contraint doit évacuer.
La capacité de refroidissement fait donc désormais partie intégrante de la capacité de calcul.
L'ASHRAE décrit l'alimentation électrique et le refroidissement comme un problème de conception unique et interdépendant pour les installations d'IA. Les racks à plus haute densité ont une incidence sur la distribution électrique, la tuyauterie, la charge structurelle, la détection des fuites, les systèmes de contrôle et l'équipement final d'évacuation de la chaleur. Les décisions prises au niveau de la puce se répercutent sur l'ensemble du site. (ashrae.org)
Les implications en matière de consommation d'eau sont également moins directes que ne le suggèrent les estimations populaires par requête.
Le matériel d'IA augmente la densité de puissance et la chaleur totale. L'architecture de refroidissement détermine la manière dont cette chaleur est évacuée. Le climat et l'approvisionnement en électricité façonnent ensuite l'empreinte énergétique et hydrique qui en résulte. Nous analysons ces relations dans notre article sur la consommation d'eau des centres de données d'IA.
Un refroidissement à plus haute densité peut également rendre la chaleur elle-même plus utile.
Le refroidissement par air traditionnel produit souvent un grand volume d'air évacué à une température relativement basse. Les systèmes de refroidissement liquide direct sur puce et à eau tiède permettent d'évacuer la chaleur à des températures plus élevées, ce qui la rend plus adaptée au chauffage des locaux, au préchauffage de l'eau chaude, aux réseaux de chaleur urbains ou à certains processus industriels.
Le Berkeley Lab note qu'un refroidissement avancé peut faire passer la température de la chaleur récupérable des centres de données d'environ 30 °C dans les systèmes à air classiques à plus de 50 °C. Cela ne garantit pas pour autant la viabilité d'un projet de récupération de chaleur. Il faut qu'un utilisateur compatible se trouve à proximité, qu'il ait besoin de la bonne température et qu'il nécessite de la chaleur à peu près au moment où le centre de données en produit. (eta.lbl.gov)
Cela modifie néanmoins l'étape finale du parcours de la chaleur.
La chaleur n'a plus une seule destination possible : l'atmosphère.
Le refroidissement commence par le site
Une architecture de refroidissement peut sembler excellente sur un schéma et ne pas être adaptée à l'endroit où elle est censée fonctionner.
La charge de travail détermine la quantité de chaleur produite et sa densité de concentration. Le climat détermine la facilité avec laquelle la chaleur peut être évacuée à l'extérieur. L'électricité disponible influe sur la consommation des ventilateurs, des pompes et des compresseurs. La disponibilité de l'eau est importante si la conception repose sur l'évaporation. Un système de chauffage à proximité peut rendre la chaleur captée utile. La capacité de maintenance et les pièces de rechange déterminent la technologie qui peut être exploitée de manière fiable.
Ces questions doivent être abordées lors de la sélection du site du centre de donnéeset non lors d'une discussion technique tenue une fois le site déjà choisi.
Ils façonnent également l'approche de Policloud en matière d'infrastructure physique.
Policloud développe des infrastructures de centres de données modulaires pour des sites définis. Le système de refroidissement doit être pensé en fonction de la charge de travail, de l'alimentation électrique disponible, du réseau, du climat, des conditions du site, de la propriété, de la réglementation et du modèle opérationnel. Une unité modulaire peut arriver sous forme d'objet intégré, mais le système thermique doit tout de même relier cet objet aux conditions physiques qui l'entourent.
C'est pourquoi aucune affirmation générique sur le refroidissement ne peut décrire chaque déploiement utile.
La question pertinente n'est pas de savoir si l'air, l'eau, le réfrigérant ou un autre liquide circule quelque part à l'intérieur de l'unité. Il s'agit de déterminer si l'intégralité du trajet, du processeur jusqu'au dissipateur thermique final, est adaptée à la charge de travail et au lieu.
Suivez ce trajet et les conséquences commerciales deviennent visibles.
Quelle quantité d'équipement informatique le site peut-il supporter ?
Quelle quantité d'électricité le refroidissement ajoute-t-il ?
Le système nécessite-t-il un apport continu en eau douce ?
Comment la performance évolue-t-elle pendant la période la plus chaude de l'année ?
La chaleur peut-elle être utilisée à d'autres fins ?
Quel équipement doit être entretenu, et par qui ?
Ces réponses déterminent bien plus que la simple température à l'intérieur de la salle des serveurs.
Chaque kilowatt entrant dans l'équipement informatique finit par se transformer en chaleur. Le refroidissement détermine le nombre de ventilateurs, de pompes, de tuyaux, de compresseurs, de litres d'eau et d'équipements extérieurs nécessaires entre cette chaleur et l'environnement extérieur.
La meilleure façon de comprendre un système de refroidissement de centre de données n'est donc pas de demander s'il est refroidi par air ou par liquide.
Demandez à voir le cheminement complet de la chaleur.
