gik|iewicz

Nvidia zaprezentowała projekt centrum danych, w którym czynnik chłodzący ma temperaturę 45°C – więcej niż w gorącej wannie. Zużycie wody w instalacjach chłodzących ma spaść w tym modelu niemal do zera. To odpowiedź na lawinowo rosnące zapotrzebowanie infrastruktury AI na energię i zasoby naturalne.

• Dlaczego 45 stopni Celsjusza chłodzi serwery AI?
• Jak nowe chłodzenie redukuje zużycie wody w centrach danych?
• Jakie korzyści daje technologia chłodzenia płynowego od Nvidii?
• Dlaczego konwencjonalne chłodzenie nie wystarcza dla sztucznej inteligencji?
• Czy całkowite wyeliminowanie wody z chłodzenia jest realistyczne?

TL;DR: Nowa architektura Nvidii opiera się na obiegu zamkniętym, który eliminuje tradycyjne wieże chłodnicze. Dzięki temu centra danych przestają zużywać miliony litrów wody dziennie. Rozwiązanie to jest konieczne, ponieważ najnowsze serwery AI generują tak duże ilości ciepła, że konwencjonalne metody radzą sobie coraz gorzej.

Dlaczego 45 stopni Celsjusza chłodzi serwery AI?

Najnowsze serwery AI od Nvidii potrafią pracować, używając czynnika chłodzącego o temperaturze wyższej niż w jacuzzi. Wynika to z faktu, że podzespoły generują ogromne ilości ciepła, a płynny nośnik bardzo skutecznie je odbiera. Tradycyjne powietrze nie jest w stanie odebrać tak dużej ilości energii cieplnej. Płyn radzi sobie z tym znacznie lepiej.

Wyższa temperatura czynnika chłodzącego to celowy zabieg inżynieryjny. Chodzi o to, aby różnica temperatur między układem scalonym a czynnikiem była odpowiednio duża. Ponadto pozwala to na zastosowanie suchych chłodnic (dry coolers), które oddają ciepło prosto do atmosfery. Zatem cała instalacja może działać bez użycia wody.

Nvidia podkreśla, że jest to jeden z największych skoków wydajności w historii infrastruktury. Serwery z układami GPU potrzebują gęstego upakowania, co przekreśla szanse na wentylatory. Ciepło jest tu po prostu przenoszone z układów scalonych bezpośrednio do płynu. W praktyce wygląda to inaczej niż w starych serwerowniach.

Jak nowe chłodzenie redukuje zużycie wody w centrach danych?

Nvidia oficjalnie ogłosiła redukcję zużycia wody o 100% w nowej architekturze, co potwierdzają raporty branżowe (Data Center Dynamics, 2024). Wynika to z całkowitego porzucenia wież chłodniczych, które tradycyjnie odprowadzają ciepło przez odparowywanie wody. To właśnie te wieże odpowiadają za gigantyczne zużycie tego surowca. Szacuje się, że duże ośrodki zużywały miliony litrów rocznie. Eliminacja tego elementu to ogromna ulga dla lokalnych sieci wodociągowych.

Zamiast odparowywać wodę, nowy system wykorzystuje zamknięty obieg płynu technologicznego. Ciepło z procesorów jest odbierane przez płytę zimną, a następnie oddawane do powietrza przez suche chłodnice. Mimo to system wciąż potrzebuje energii elektrycznej do działania pomp. Nie jest to system całkowicie bezobsługowy. Zużycie samego czynnika chłodzącego jest znikome, ponieważ układ nie ma kontaktu z otoczeniem.

Architektura chłodzenia bezpośredniego na płycie (direct-to-chip) z wykorzystaniem płynu o temperaturze 45°C eliminuje tradycyjne wieże chłodnicze. Według specyfikacji technicznej Nvidii pozwala to na redukcję zużycia wody z zewnątrz o 100% (Nvidia Whitepaper, 2024).

W rezultacie ośrodki obliczeniowe mogą powstawać w miejscach suchych. Brak konieczności podłączania do miejskich sieci wodociągowych przyspiesza budowę. Co więcej, firma ze Santa Clara udostępnia oficjalną dokumentację architektury GB200, w której opisano szczegółowo ten mechanizm. Pozwala to na niezależne weryfikowanie deklarowanych parametrów.

Jakie korzyści daje technologia chłodzenia płynowego od Nvidii?

Przede wszystkim technologia ta pozwala na gęstsze upakowanie serwerów w szafach rackowych. Brak potężnych wentylatorów oznacza mniejsze zużycie prądu na sam proces chłodzenia układów. Co więcej, eliminuje się hałas, który w starych serwerowniach był ogłuszający. Poniższa tabela przedstawia główne różnice między tradycyjnym a nowym podejściem amerykańskiego producenta.

Powyższa zmiana architektury przekłada się na bezpośrednie oszczędności finansowe. Oszczędności wynikają z mniejszych rachunków za wodę oraz prąd. Z drugiej strony wdrożenie tego systemu wymaga przebudowy całej infrastruktury budynku. Nie da się po prostu wlać płynu do starej szafy serwerowej. Wymaga to specjalistycznych wymienników ciepła.

Oto lista głównych zalet płynącego z nowej architektury:

• Znacznie wyższa gęstość upakowania układów graficznych w pojedynczej szafie rackowej.
• Całkowita eliminacja hałaśliwych wentylatorów z serwerów przetwarzających dane.
• Drastyczne obniżenie kosztów operacyjnych związanych z zakupem wody pitnej.
• Możliwość budowy potężnych ośrodków obliczeniowych na terenach suchych.
• Znacznie niższe zapotrzebowanie na energię elektryczną niezbędną do samego chłodzenia.
• Brak konieczności stosowania chemicznych środków do uzdatniania wody w wieżach.
• Odporność instalacji na zanieczyszczenia z zewnątrz, takie jak kurz czy pył.
• Natychmiastowe odprowadzanie ciepła punktowego z najwydajniejszych procesorów graficznych.

Dlaczego konwencjonalne chłodzenie nie wystarcza dla sztucznej inteligencji?

Układy graficzne (GPU) używane do trenowania modeli językowych generują ciepło punktowe o niewyobrażalnej gęstości. Tradycyjny nawiew nie jest w stanie odebrać tej energii wystarczająco szybko, co prowadzi do przegrzewania się sprzętu. Ponadto wentylatory zużywałyby więcej prądu niż same procesory. To zjawisko zmusiło inżynierów do zmiany podejścia.

Nvidia musiała zaprojektować nowe obudowy dla swoich serwerów AI, takie jak architektura GB200 NVL72. W tych maszynach płyn jest doprowadzany bezpośrednio do zimnych płyt przylegających do układów scalonych. Taka metoda jest znacznie wydajniejsza, ponieważ woda (lub płyn) przewodzi ciepło o rząd wielkości lepiej niż powietrze. Choć wymaga to precyzyjnego montażu, wynikające z tego korzyści są ogromne.

Podobnie jak wytrenuj własny model LLM od zera wymaga odpowiedniego sprzętu, tak i jego utrzymanie potrzebuje nowego podejścia do termiki. Firmy technologiczne nie mogą już budować zwykłych magazynów z serwerami. Potrzebują specjalistycznych elektrowni obliczeniowych. Nowe centrum danych to skomplikowana instalacja hydrauliczna.

Czy całkowite wyeliminowanie wody z chłodzenia jest realistyczne?

Deklarowane przez firmę ze Santa Clara 100% redukcji zużycia wody dotyczy wyłącznie samego procesu chłodzenia klimatyzacją. Woda nadal jest potrzebna do produkcji krzemu, półprzewodników oraz mycia komponentów. Ponadto elektrownie dostarczające prąd dla serwerów często korzystają z wody do chłodzenia swoich turbin. Mimo to bezpośrednia eliminacja wież chłodniczych to potężny krok naprzód.

Chociaż Nvidia deklaruje zerowe zużycie wody w samym centrum danych, elektrownie zasilające te ośrodki zużywają wodę do chłodzenia turbin. Według analiz (Energy Information Administration, 2023) termiczne elektrownie zużywają średnio 10 000 litrów wody na wyprodukowanie 1 MWh energii.

Krytycy zauważają, że przeniesienie zużycia wody na poziom produkcji prądu nie rozwiązuje problemu globalnego. Jednakże oddanie zasobów wodnych lokalnym społecznościom wokół centrów danych to konkretny efekt. Na przykład suche regiony, takie jak Arizona czy Teksas, mogą teraz bezpiecznie przyjmować inwestycje obliczeniowe. Nie obciążają one już lokalnych zasobów pitnej wody.

Warto sprawdzić, jak to rozwiązanie wpisuje się w szerszy trend ekologii. Podobnie jak siedem krajów generuje teraz niemal całą energię elektryczną ze źródeł odnawialnych, tak branża IT musi ucinać swoje marnotrawstwo. Projekt Nvidii pokazuje, że można łączyć wydajność z odpowiedzialnością. Inżynieria materiałowa pozwala na bezpieczne stosowanie płynów dielektrycznych.

Zatem wyeliminowanie bezpośredniego zużycia wody jest jak najbardziej możliwe i wdrażane. Przemysł skupia się teraz na redukcji śladu węglowego i wodnego w całym łańcuchu dostaw. Projekty open-source pokazują, że optymalizacja to podstawa nowoczesnego IT. Każda zwolniona litra wody ma znaczenie dla środowiska. Centra obliczeniowe stają się bardziej niezależne od środowiska naturalnego.

Ile kosztuje wdrożenie chłodzenia płynowego w nowej serwerowni?

Przejście na chłodzenie płynowe oznacza całkowitą przebudowę infrastruktury, co drastycznie podnosi koszty budowy centrum danych. Nvidia wskazuje, że nowe podejście eliminuje wieże chłodnicze, jednak wymaga specjalistycznych wymienników ciepła oraz hydraulicznych przyłączy. Zatem inwestycja początkowa rośnie, ale koszty operacyjne spadają. Brak rachunków za wodę rekompensuje wydatki.

W tradycyjnych ośrodkach głównym źródłem kosztów utrzymania były potężne systemy klimatyzacji. W nowym modelu architektonicznym ten element znika. Ciepło jest odprowadzane bezpośrednio przez płytę zimną do obiegu zamkniętego, a stamtąd trafia do suchych chłodnic. Ponadto mniejsze zapotrzebowanie na energię elektryczną przez brak wentylatorów obniża ogólne rachunki za prąd.

Jak suchy chłodnik zastępuje wieżę chłodniczą?

Suchy chłodnik (dry cooler) to kluczowy komponent eliminujący bezpośrednie zużycie wody w nowej architekturze Nvidii. Ciepły płyn techniczny przepływa przez rury oporzone z aluminium, a powietrze atmosferyczne obniża jego temperaturę. Zatem system oddaje ciepło prosto do otoczenia. Nie ma tu procesu odparowywania wody.

Aby suchy chłodnik działał wydajnie, różnica temperatur między płynem a otoczeniem musi być odpowiednio duża. Dlatego właśnie Nvidia ustawiła temperaturę czynnika na 45 stopni Celsjusza. Tradycyjne systemy pracowały na znacznie niższych temperaturach, co wymuszało stosowanie odparowywania wody w wieżach. Co więcej, płyn o tak wysokiej temperaturze pozwala na chłodzenie maszyn nawet w ciepłe dni. Mimo to w skrajnym upale wydajność może nieznacznie spaść.

Jakie wyzwania techniczne niesie chłodzenie bezpośrednie na płycie?

Chłodzenie bezpośrednie na płycie (direct-to-chip liquid cooling) wymaga hermetycznego połączenia bloków wodnych z procesorami graficznymi. Najmniejszy wyciek płynu dielektrycznego może uszkodzić delikatne komponenty. Dlatego inżynierowie stosują szybkozłącza o podwyższonej niezawodności. Ciśnienie w układzie musi być stale monitorowane.

Wdrożenie tej technologii wymaga przeszkolenia personelu w zakresie hydrauliki, a nie tylko informatyki. Serwerownia staje się skomplikowaną instalacją hydrauliczną z setkami złączy, zaworów oraz czujników przepływu. Choć systemy są projektowane z zapasem bezpieczeństwa, ryzyko awarii mechanicznej zawsze istnieje. Z kolei konserwacja takich szaf rackowych wymaga ich całkowitego wyłączania. To zupełnie inna organizacja pracy administracyjnej.

Jak nowe centra danych wpływają na lokalne sieci energetyczne?

Architektura pozbawiona wież chłodniczych odciąża lokalne wodociągi, ale przenosi obciążenie na sieci elektroenergetyczne. Nvidia projektuje serwery z myślą o maksymalnej gęstości, co oznacza, że pojedyncza szafa rackowa pobiera dziesiątki kilowatów mocy. Zatem lokalna podstacja energetyczna musi być dostosowana. To budzi obawy wśród ekspertów od energetyki.

Brak wentylatorów zmniejsza pobór energii na sam proces chłodzenia, jednak całkowita moc instalowana rośnie. W rezultacie centra danych stają się de facto potężnymi elektrowniami odbiorczymi. Wymagają one dedykowanych linii wysokiego napięcia. Infrastruktura musi nadążać za zmianami. Gospodarka regionu musi udźwignąć ten ciężar.

Jakie są główne założenia obiegu zamkniętego w serwerowniach AI?

Obieg zamknięty zakłada ciągłe krążenie tego samego płynu technicznego bez kontaktu z otoczeniem. Nvidia zrezygnowała z uzupełniania wody, co eliminuje konieczność podłączenia do miejskich sieci. Płyn odbiera ciepło z układów scalonych, oddaje je w suchym chłodniku i wraca do serwerów. To całkowicie hermetyczny proces. Straty czynnika są praktycznie zerowe.

Głównym założeniem tej technologii jest utrzymanie odpowiedniego przepływu oraz ciśnienia w całym systemie hydraulicznym. Pompowanie płynu wymaga energii, jednak jest to znacznie mniej kosztowne niż odparowywanie milionów litrów wody. Co więcej, zamknięty obieg chroni komponenty przed zanieczyszczeniami z zewnątrz. Osady z twardej wody niszczyły stare instalacje. Nowe rozwiązanie eliminuje ten problem.

Dlaczego płyn dielektryczny jest bezpieczniejszy dla elektroniki?

Płyny dielektryczne nie przewodzą prądu elektrycznego, co zapobiega zwarciom na płycie głównej w razie wycieku. W przeciwieństwie do zwykłej wody, substancje te są chemicznie obojętne dla miedzi oraz aluminium. Dlatego producenci chętnie stosują je w układach bezpośrednich. Zapewniają one optymalne odprowadzanie ciepła. Awaria złącza nie oznacza natychmiastowego spalenia maszyny.

Zastosowanie płynów syntetycznych pozwala na precyzyjne dopasowanie ich parametrów fizycznych do wymogów chłodniczych. Nvidia korzysta z substancji o odpowiedniej lepkości oraz przewodności cieplnej. Ponadto płyny te są odporne na rozwój bakterii i glonów, co było zmorą starych wież chłodniczych. Mimo to ich utylizacja wymaga specjalistycznych procedur. Nie można ich po prostu wlać do kanału.

Jak architektura GB200 NVL72 wykorzystuje nowe podejście do termiki?

System GB200 NVL72 to skomplikowana maszyna składająca się z 72 układów graficznych połączonych w jednej obudowie. Tradycyjne nawiewy nie poradziłyby sobie z takim skupiskiem energii. Dlatego Nvidia zintegrowała kanały hydrauliczne bezpośrednio w szkielecie tej konstrukcji. Ciepło jest odbierane natychmiast po wygenerowaniu. To gwarantuje stabilność pracy układów.

Gęstość obliczeniowa w architekturze NVL72 wymusza zastosowanie płyt zimnych dociskanych do każdego kluczowego procesora. Układ hydrauliki rozprowadza płyn o temperaturze 45 stopni Celsjusza, który odbiera setki kilowatów ciepła z jednej szafy. Następnie gorący nośnik trafia do wymiennika ciepła. W rezultacie cała konstrukcja działa bezobsługowo pod kątem klimatyzacji otoczenia.

Często zadawane pytania

Czy chłodzenie 45 stopni Celsjusza spowoduje przegrzanie procesorów graficznych?

Płyn o temperaturze 45 stopni Celsjusza posiada odpowiednią różnicę potencjałów do odebrania ciepła z układów pracujących w temperaturach powyżej 80 stopni Celsjusza. Nvidia potwierdza w dokumentacji technicznej, że takie parametry eliminują zjawisko throttlingu.

Czy nowe centra danych Nvidii całkowicie rezygnują z wody?

Nvidia deklaruje 100% redukcję zużycia wody w procesie samego chłodzenia klimatyzacją poprzez eliminację wież chłodniczych. Woda jest jednak nadal zużywana w elektrowniach produkujących prąd dla tych serwerów.

Czy istniejące centra danych mogą zostać łatwo dostosowane do nowej technologii?

Wdrożenie systemu direct-to-chip wymaga wymiany szaf rackowych oraz przebudowy instalacji budynku na obieg hydrauliczny. Według doniesień Nvidii nie da się wlać płynu do starej szafy serwerowej.

Czy suche chłodnice są w stanie pracować w upalne dni letnie?

Płyn o wysokiej temperaturze wejściowej rzędu 45 stopni Celsjusza pozwala suchym chłodnicom na oddanie ciepła do otoczenia nawet podczas wysokich temperatur atmosferycznych. Mimo to w skrajnym upale wydajność wymienników może nieznacznie spaść.

Podsumowanie

Projekt Nvidii udowadnia, że przemysł AI potrafi drastycznie ograniczyć swoje zapotrzebowanie na zasoby naturalne. Eliminacja wież chłodniczych odciąża lokalne wodociągi i pozwala na budowę ośrodków w suchych regionach. Przejście na płyn dielektryczny w obiegu zamkniętym rozwiązuje problem rosnącej gęstości obliczeniowej serwerów. Nowa architektura wymaga potężnych nakładów finansowych oraz przebudowy całej infrastruktury zasilającej. Zatem chłodzenie bezpośrednie staje się standardem dla nowo powstających fabryk sztucznej inteligencji.

Rozwiązania optymalizujące zużycie zasobów są kluczowe dla przyszłości technologii, podobnie jak SocratiCode – codebase context engine dla asystentów AI, tworzy pełny kontekst repozytorium, redukuje zużycie tokenów o 61%, które zmienia sposób działania asystentów programistycznych. Zgłębiaj dalej tematykę nowoczesnej infrastruktury na blogu Grzegorza Kikiewicza i śledź najnowsze doniesienia technologiczne.