Chłodzenie zanurzeniowe vs. Bezpośrednie-do-chłodzenia wiórów: co to oznacza dla specyfikacji rurociągów

Wprowadzenie: Decyzja, która następuje za późno

Większość inżynierów zajmujących się centrami danych wybiera technologię chłodzenia - zanurzeniową lub bezpośrednią-na-chipach - w oparciu o docelową gęstość szaf i budżet kapitałowy. Specyfikacja rurociągów pojawia się później i często jest traktowana jako szczegół wykonania, a nie czynnik projektowy. Taka kolejność to błąd.

System płynów, który zbudujesz w oparciu o wybraną architekturę chłodzenia, nie jest wymienny. Specyfikacja rurociągów napisana dla bezpośredniego chłodzenia-do-układu scalonego (D2C) na zimno-płyty nie powiedzie się - dosłownie i operacyjnie - w przypadku modernizacji do zanurzenia w jednej-fazie i odwrotnie. Ponieważ gęstość szaf GPU przekracza obecnie 50 kW, a obciążenie AI zbliża się do 100 kW na szafę, uzyskanie specyfikacji rur już na etapie projektowania schematu nie jest już opcjonalne. Pojedynczy wyciek w systemie D2C może w ciągu kilku sekund zniszczyć cały sprzęt GPU o wartości 400 000 dolarów.

Ten przewodnik został napisany dla inżynierów mechaników i hydraulików, którzy już podjęli (lub podejmują) decyzję dotyczącą architektury chłodzenia i muszą przełożyć ten wybór na możliwą do obrony specyfikację rurociągów zgodną z ASHRAE-.

 

 

Bezpośrednio do jednostki CDU z chłodzeniem cieczą w centrum danych GPU

 

1. Dwie architektury, dwie zupełnie różne logiki pętli płynów

Przed dotknięciem harmonogramu rur należy zrozumieć, że chłodzenie zanurzeniowe i D2C działają na zasadniczo różnych zasadach hydraulicznych.

Bezpośrednio-do-chipu (D2C)cyrkuluje ciecz -, zazwyczaj wodę dejonizowaną lub mieszankę wody,-glikolu -, przez zimne płyty zamontowane bezpośrednio na procesorach, procesorach graficznych i układach ASIC. Ciepło jest pochłaniane na powierzchni wiórów i przekazywane do modułu dystrybucji chłodziwa (CDU), który wymienia je z instalacją wodną obiektu. Rezultatem jest gęsta sieć pod ciśnieniem złożona z rur, kolektorów,-szybkozłączek i płyt zimnych o małej-średnicy oraz płyt zimnych, z których wszystkie muszą jednocześnie działać w równowadze hydraulicznej.

Jednofazowe-chłodzenie zanurzeniowezanurza całe płyty serwerowe w płynie dielektrycznym - zazwyczaj syntetycznym węglowodorze lub płynie technicznym - znajdującym się w zbiorniku. Przenika ciepło ze wszystkich komponentów do płynu, który jest następnie pompowany przez zewnętrzny wymiennik ciepła. Zewnętrzna sieć rurociągów jest minimalna: zasadniczo dwa przyłącza na zbiornik (zasilanie i powrót) prowadzące do CDU lub pętli chłodzącej obiektu.

Różnica w architekturze jest wyraźna: D2C rozdziela obciążenie hydrauliczne na dziesiątki punktów połączeń na każdą szafę; zanurzenie konsoliduje go w prostą pętlę zewnętrzną o niskim-ciśnieniu. Wszystko w dalszej części specyfikacji rurociągów wynika z tego rozróżnienia.

 

2. Wybór materiału rury: gdzie ASHRAE wyznacza granicę

ASHRAE TC 9.9 i TC 9.6 wyraźnie określają kompatybilność materiałową. W przypadku wodnych pętli chłodzących D2C-wytyczne zabraniają stosowania cynku, aluminium i mosiądzu zawierających więcej niż 15% cynku-, które przyspieszają korozję galwaniczną w obecności uzdatnionej wody. W praktyce wyklucza to standardowe złącza z żółtego mosiądzu i rury ze stali ocynkowanej, które są nadal powszechne w systemach hydraulicznych HVAC.

W przypadku pętli technologicznego układu chłodzenia (TCS) - pętla dodatkowa obsługująca bezpośrednio płyty zimne -Stal nierdzewna 304 lub 316to standardowa specyfikacja. W pętli TCS zazwyczaj przepływa woda dejonizowana lub silnie uzdatniona, która w rzeczywistości jest bardziej agresywna w stosunku do korozji niż woda miejska, ponieważ prawie nie ma zdolności buforowania. Zawór odcinający na każdym stojaku, dostosowany do ciśnienia roboczego systemu i wykonany ze stali nierdzewnej 316, jest wymagany zarówno do rutynowej konserwacji, jak i awaryjnej izolacji wycieków.

W przypadku chłodzenia zanurzeniowego wyzwanie materiałowe całkowicie się zmienia. Płyn dielektryczny jest chemicznie obojętny w stosunku do większości metali, ale agresywnie atakuje elastomery. - standardowe uszczelki EPDM i Buna-N stosowane w zastosowaniach HVAC będą pęcznieć i ulegać degradacji w ciągu kilku miesięcy od kontaktu z płynami dielektrycznymi-na bazie węglowodorów. Sam materiał rurociągu (stal nierdzewna, stal węglowa) jest ogólnie zgodny, ale każda uszczelka,-pierścień uszczelniający i elastyczne połączenie w pętli zewnętrznej musi być wykonane z PTFE lub materiału fluoropolimerowego dostosowanego do konkretnego używanego płynu.

 

3. Rozmiar rur, prędkość przepływu i spadek ciśnienia

ASHRAE TC 9.6 ustawia maksymalną prędkość płynu2,1 m/s dla rur o średnicy większej niż 3 caleaby zapobiec erozji na złączach i zakrętach. Poniżej 3 cali praktyczna granica jest bliższa 1,5–1,8 m/s, zanim ryzyko hałasu i erozji wzrośnie w sposób niedopuszczalny. Ograniczenia te dotyczą obu architektur chłodzenia, ale powodują bardzo różne wyniki w zakresie wymiarowania.

W systemach D2C natężenie przepływu jest podyktowane obciążeniem cieplnym każdej płyty zimnej. Wraz ze wzrostem TDP (Thermal Design Power) chipów - nowoczesne procesory graficzne H100 działają z TDP na poziomie 700 W, a akceleratory nowej-generacji przewidywanej na 1000 W+ -, zapotrzebowanie na przepływ na płytę zimną wzrasta proporcjonalnie. Szafa o mocy 50 kW z chłodzeniem D2C może wymagać 8–12 litrów chłodziwa na minutę w rozdzielaczu szafy, rozdzielonych na 8 do 16 oddzielnych płyt chłodzących. To powoduje potrzebę ostrożnego równoważenia hydraulicznego: równoległe płyty zimne muszą dzielić przepływ równomiernie, w przeciwnym razie najgorętsze wióry -, zwykle te na końcu odgałęzienia kolektora, - nie będą miały wydajności chłodzącej.

W systemach zanurzeniowych zewnętrzna pętla rurowa przenosi całe obciążenie cieplne zbiornika, ale przy znacznie niższej prędkości i ciśnieniu, ponieważ mechanizmem napędowym wewnątrz zbiornika jest konwekcja i pompowanie z małą-prędkością, a nie wymuszony przepływ pod wysokim-ciśnieniem. Zbiornik zanurzeniowy o mocy 250 kW zazwyczaj wymaga jedynie 20–30 litrów na minutę przez zewnętrzną pętlę wymiennika ciepła, przy ciśnieniach w systemie rzadko przekraczających 2–3 bary.

Decyzja o poprowadzeniu napowietrznym i podpodłogowym również wpływa na rozmiar. W wytycznych ASHRAE zauważono, że przebieg rur pod podłogą musi uwzględniać grubość izolacji i odstęp między rurami. - Dodanie 50 mm do średnicy rury przy uwzględnieniu opasania izolacyjnego jest częstym błędem planowania, który powoduje konflikty koordynacji w przypadku-układów płytek na podłodze podwyższonej.

 

4. Zawory odcinające, filtry siatkowe i kontrola wycieków: szczegóły specyfikacji chroniące czas pracy

To tutaj specyfikacje rurociągów bezpośrednio określają odporność operacyjną i gdzie sporządzana jest większość dokumentów specyfikacji.

Dla systemów D2Ckażdy stojak musi być wyposażony w zawór odcinający zarówno na zasilaniu, jak i na powrocie, umożliwiający odizolowanie i opróżnienie pojedynczego stojaka w celu konserwacji bez wyłączania sąsiednich stojaków. Preferowanym typem zaworu dla tego zastosowania jest:3-częściowy gwintowany zawór kulowyze stali nierdzewnej 304 lub 316. Trzy-częściowa konstrukcja korpusu ma tutaj kluczowe znaczenie: w przeciwieństwie do jedno-lub dwuczęściowych-zaworów, można go zdemontować na miejscu - bez przecinania rury lub zdejmowania korpusu zaworu z przewodu - w celu wymiany uszczelek lub czyszczenia gniazda. W działającym środowisku centrum danych, gdzie najważniejsza jest minimalizacja przestojów szafy, ta-możliwość serwisowania na linii stanowi znaczącą zaletę operacyjną, a nie luksus specyfikacji.

Przed każdym rozdzielaczem stojaka wymagany jest filtr siatkowy Y ze stali nierdzewnej, aby chronić mikro-kanały zimnej płyty przed zanieczyszczeniem cząstkami stałymi. Geometrie zimnej płyty dla-wydajnych procesorów graficznych wykorzystują kanały o szerokości zaledwie 0,5–1,0 mm; cząstka o wielkości 200 mikronów może częściowo zablokować kanał i utworzyć lokalny gorący punkt, którego monitorowanie termiczne może nie wykryć do czasu rozpoczęcia dławienia wiórów. Należy wybrać filtry siatkowe o wielkości oczek 50 mikronów lub drobniejsze w pętli TCS, zgodnie z wytycznymi ASHRAE TC 9.9 dotyczącymi jakości wody.

Na odcinku powrotnym zawór zwrotny ze stali nierdzewnej zapobiega przepływowi wstecznemu przez wymiennik ciepła CDU, gdy stojak jest odizolowany lub pompa uruchamia - zdarzenie przepływu zwrotnego, które może wprowadzić ciepły płyn do kolektora zasilającego i podnieść temperaturę płynu chłodzącego w całym rzędzie, zanim zareagują elementy sterujące.

W przypadku połączeń serwer-do-rozgałęźnika należy określić suche-szybkozłączne-złączki o maksymalnym dopuszczalnym wycieku wynoszącym 1 centymetr sześcienny na cykl rozłączania, zgodnie ze standardami połączeń OCP (Open Compute Project). Elastyczne segmenty węża na tych połączeniach muszą być zabezpieczone dodatkowymi zaciskami w odstępach co 150 mm, aby zapobiec spadkom ciśnienia wywołanym ugięciami i naprężeniom na gwintach złączki.

Do systemów zanurzeniowychspecyfikacja izolacji jest prostsza, ale nie trywialna. Każdy zbiornik wymaga zaworów odcinających zasilanie i powrót dostosowanych do pełnego przepływu w zbiorniku oraz portu próbki do monitorowania jakości płynu. Określ połączenia pętli zewnętrznej wykonane z materiału zgodnego z konkretnym płynem dielektrycznym - potwierdź zgodność z dostawcą płynu na piśmie przed sfinalizowaniem specyfikacji, ponieważ zastrzeżone receptury płynów mogą się różnić.

Kabel do wykrywania nieszczelności należy poprowadzić na całej długości wszystkich rurociągów zasilających D2C, umieszczając go w najniższym dostępnym punkcie każdego korytka rurowego lub korytka kablowego. W przypadku systemów zanurzeniowych wystarczą-punktowe detektory nieszczelności przy każdej podstawie zbiornika i przy CDU, biorąc pod uwagę, że zewnętrzne połączenia rurowe są nieliczne i-dobrze widoczne.

 

 

Leadtek 3-częściowy gwintowany zawór kulowy

 

5. Praktyczna lista kontrolna specyfikacji przed wydaniem na budowę

Zanim specyfikacja rurociągów opuści zespół inżynierów, sprawdź poniższe informacje w odniesieniu do wybranej architektury chłodzenia:

Zgodność materiałowa: Wszystkie zwilżane metale nie zawierają stopów cynku i aluminium (D2C); potwierdzona zgodność wszystkich elastomerów z chemią cieczy dielektrycznej (zanurzenie)

Kontrola prędkości: Maksymalnie 2,1 m/s na rurach Średnica większa lub równa 3 cale, zgodnie z ASHRAE TC 9.6

Zawory odcinające: Jeden 3-częściowy gwintowany zawór kulowy na szafę, zasilanie i powrót, z możliwością serwisowania-na linii (D2C)

Ocena filtra: Siatka mniejsza lub równa 50 mikronów na zasilaniu TCS, przed każdym rozdzielaczem szafy (D2C)

Sprawdź umiejscowienie zaworu: Odgałęzienie powrotne CDU, każde odgałęzienie powrotne stojaka (D2C)

Specyfikacja szybkiego-rozłączania: Suche-pęknięcie, wyciek mniejszy lub równy 1 cm3, zgodny z OCP-(D2C)

Wykrywanie wycieków: Kabel ciągły na wszystkich biegach zasilających (D2C); czujniki punktowe u podstawy zbiornika i CDU (zanurzenie)

Prześwit pod podłogą: Średnica zewnętrzna rury plus izolacja plus 50 mm prześwit poprzeczny potwierdzony w modelu z pustą podłogą

Plan uzdatniania wody: Program chemiczny-specyficzny dla obiektu uruchomiony przed napełnieniem systemu, z określonym protokołem ciągłego monitorowania

 

Wniosek: Należy wybrać system rur odpowiadający architekturze chłodzenia, a nie odwrotnie

Decyzja dotycząca technologii chłodzenia i specyfikacja rurociągów nie są kolejnymi krokami -, lecz pojedynczą, zintegrowaną decyzją inżynierską. Wybór pomiędzy chłodzeniem zanurzeniowym a chłodzeniem D2C określa logikę hydrauliczną, ograniczenia materiałowe, strategię izolacji i profil ryzyka wycieku całego układu płynów. Próba dostosowania ogólnych specyfikacji rur hydraulicznych HVAC do którejkolwiek architektury doprowadzi do powstania systemu, który będzie działał gorzej pod względem operacyjnym i spowoduje niepotrzebne narażenie na konserwację.

Uwzględnij specyfikację rurociągów w projekcie schematu, wraz z wyborem architektury chłodzenia. Użyj ASHRAE TC 9.6 i TC 9.9 jako podstawowych ram zgodności i zweryfikuj każdy wybór materiałów pod kątem rzeczywistego składu chemicznego cieczy w systemie -, a nie ogólnego założenia dotyczącego „wody”. 30 minut spędzonych na doborze typu zaworu odcinającego i parametrów siatki filtra bezpośrednio na etapie specyfikacji pozwoli zaoszczędzić znacznie więcej niż 30 minut w przypadku przyszłych przestojów.

 

Często zadawane pytania

P: Czy mogę użyć standardowej rury ze stali węglowej HVAC do bezpośredniego-pętli-chłodzenia chipa?

Stal węglowa jest stosowana w obiegach wody lodowej-po stronie obiektu (FWS), ale nie jest odpowiednia w obiegach technologicznego układu chłodzenia (TCS), który bezpośrednio obsługuje płyty zimne. Pętla TCS przepuszcza wysoce oczyszczoną wodę o niskiej zawartości jonów, która jest bardziej korozyjna dla stali węglowej niż oczyszczona woda HVAC. Dla wszystkich rur i złączek TCS należy wybrać stal nierdzewną 304 lub 316.

P: Dlaczego mój producent CDU określa inny rozmiar przyłącza rurowego niż mój dostawca zimnej płyty?

CDU i zimne płyty często pochodzą od różnych producentów i są zaprojektowane zgodnie z różnymi założeniami dotyczącymi wewnętrznych oporów przepływu. Niedopasowanie rozmiaru połączenia jest problemem związanym z równoważeniem hydraulicznym: jeśli CDU oczekuje 10 l/min przy 2 barach, a zimne płyty łącznie wymagają 14 l/min do utrzymania temperatury złącza chipa, specyfikacja żadnego z dostawców nie jest błędna -, projekt systemu ich nie pogodził. Przed sfinalizowaniem wymiarowania połączenia należy wykonać model hydrauliczny pełnej pętli TCS, od wylotu CDU do każdej zimnej płyty i z powrotem.

P: Jak często należy czyścić filtry siatkowe Y w pętli chłodzącej D2C?

Przez pierwsze 90 dni pracy należy co miesiąc sprawdzać kosze filtrów - z nowych systemów rurowych usuwane są cząstki stałe w miarę utwardzania się powłok rur i osiadania złączek. Po okresie przerwy-w przypadku systemów z zamkniętą pętlą-z ciągłym monitorowaniem jakości wody zwykle wystarcza inspekcja kwartalna. Jeśli CDU zawiera czujnik różnicy ciśnień na filtrze siatkowym, ustaw alarm na 0,3 bar delta-P jako linię bazową-kosza czystego.

P: Czy rura chłodzenia zanurzeniowego jest prostsza do określenia niż rura D2C?

Zewnętrzna sieć rurociągów do chłodzenia zanurzeniowego jest znacznie prostsza ({0}} mniej punktów połączeń, niższe ciśnienie i brak dystrybucji-na poziomie szafy. Jednak specyfikacja materiału jest bardziej złożona, ponieważ należy sprawdzić kompatybilność płynu dielektrycznego dla każdego elastomeru, uszczelki i elastycznego złącza w systemie. Rodzaj awarii polegający na nieprawidłowym uzyskaniu kompatybilności materiałów w systemie zanurzeniowym jest powolny i trudny do wykrycia: degradacja uszczelnienia w ciągu 12–18 miesięcy, po której następuje stopniowa utrata płynu i zanieczyszczenie, a nie natychmiastowy i widoczny wyciek powodowany przez systemy D2C.

P: Jaka jest minimalna wysokość pustej podłogi wymagana dla rur chłodzących D2C przebiegających pod podłogą podniesioną?

Wytyczne ASHRAE nie określają uniwersalnego minimum, ponieważ zależy ono od średnicy rury, specyfikacji izolacji i tego, czy rury się krzyżują. Praktyczną zasadą planowania jest uwzględnienie największej średnicy zewnętrznej rury w ciągu, plus 75 mm izolacji ze wszystkich stron, plus 50 mm prześwitu powyżej dla rur skrzyżowanych, plus 25 mm poniżej dla podpór. W przypadku 4-calowej magistrali zasilającej z izolacją o grubości 25 mm daje to minimalną pustkę w podłodze o około 300 mm - większą niż 250 mm pustka typowa w starszych centrach danych z podniesioną podłogą, co stanowi ograniczenie związane z modernizacją, które warto wcześnie zidentyfikować.