Enfriamiento por inmersión vs. Directo-a-enfriamiento de chips: lo que significa para las especificaciones de sus tuberías

Introducción: la decisión que llega demasiado tarde

La mayoría de los ingenieros de centros de datos eligen la tecnología de refrigeración - por inmersión o directa-al-chip - en función de los objetivos de densidad de rack y el presupuesto de capital. La especificación de la tubería viene más tarde y a menudo se trata como un detalle de ejecución en lugar de un impulsor del diseño. Esa secuenciación es un error.

El sistema de fluidos que construye alrededor de la arquitectura de enfriamiento elegida no es intercambiable. Una especificación de tubería escrita para refrigeración directa-a-placa fría-en chip (D2C) fallará - literal y operativamente - si se adapta a inmersión monofásica-y viceversa. Dado que las densidades de rack de GPU ahora superan habitualmente los 50 kW y las cargas de trabajo de IA se acercan a los 100 kW por rack, obtener las especificaciones de tubería correctas en la fase de diseño esquemático ya no es opcional. Una sola fuga en un sistema D2C puede acabar con un rack completo de 400.000 dólares en hardware de GPU en segundos.

Esta guía está escrita para ingenieros mecánicos y de plomería que ya han tomado (o están tomando) la decisión sobre la arquitectura de enfriamiento y necesitan traducir esa elección en una especificación de tubería defendible que cumpla con ASHRAE-.

 

 

CDU de rack GPU para centro de datos con refrigeración líquida directa al chip

 

1. Dos arquitecturas, dos lógicas de circuito de fluidos completamente diferentes

Antes de tocar un programa de tuberías, comprenda que el enfriamiento por inmersión y el D2C operan según principios hidráulicos fundamentalmente diferentes.

Directo-a-chip (D2C)hace circular líquido - normalmente agua desionizada o una mezcla de agua-glicol - a través de placas frías montadas directamente en CPU, GPU y ASIC. El calor se absorbe en la superficie del chip y se transporta a una Unidad de Distribución de Refrigerante (CDU), que lo intercambia con el sistema de agua de la instalación. El resultado es una red densa y presurizada de tuberías de pequeño-diámetro, colectores, accesorios de desconexión rápida-y placas frías, todos los cuales deben funcionar en equilibrio hidráulico simultáneamente.

Refrigeración por inmersión monofásica-sumerge placas de servidor enteras en un fluido dieléctrico - generalmente un hidrocarburo sintético o un fluido diseñado - dentro de un tanque. El calor se transfiere desde todos los componentes al fluido, que luego se bombea a través de un intercambiador de calor externo. La red de tuberías externas es mínima: esencialmente dos conexiones por tanque (suministro y retorno) que van a una CDU o circuito de enfriamiento de la instalación.

La diferencia arquitectónica es marcada: D2C distribuye el desafío hidráulico entre docenas de puntos de conexión por bastidor; la inmersión lo consolida en un circuito externo simple y de baja-presión. Todo lo que se incluye en las especificaciones de su tubería se deriva de esta distinción.

 

2. Selección del material de la tubería: dónde ASHRAE establece el límite

ASHRAE TC 9.9 y TC 9.6 son explícitos sobre la compatibilidad de materiales. Para los circuitos de enfriamiento a base de agua-D2C, la guía prohíbe el zinc, el aluminio y el latón que contengan más del 15% de zinc -, todos los cuales aceleran la corrosión galvánica en presencia de agua tratada. En términos prácticos, esto descarta los accesorios estándar de latón amarillo y las tuberías de acero galvanizado que siguen siendo comunes en los sistemas hidrónicos HVAC.

Para el circuito del sistema de enfriamiento tecnológico (TCS) - el circuito secundario que sirve platos fríos directamente -Acero inoxidable 304 o 316.es la especificación estándar. El circuito TCS generalmente hace funcionar agua desionizada o altamente tratada, que en realidad es más agresiva hacia la corrosión que el agua municipal porque casi no tiene capacidad de amortiguación. Se requiere una válvula de aislamiento en cada bastidor, clasificada para la presión operativa del sistema y fabricada en acero inoxidable 316, tanto para el mantenimiento de rutina como para el aislamiento de fugas de emergencia.

Para el enfriamiento por inmersión, el desafío material cambia por completo. El fluido dieléctrico es químicamente inerte frente a la mayoría de los metales, pero ataca agresivamente a los elastómeros. - Las juntas EPDM y Buna-N estándar utilizadas en aplicaciones HVAC se hincharán y degradarán a los pocos meses de entrar en contacto con fluidos dieléctricos a base de hidrocarburos-. El material de la tubería en sí (acero inoxidable, acero al carbono) es generalmente compatible, pero cada junta, junta tórica y conexión flexible en el circuito externo debe especificarse como PTFE o un material de fluoropolímero clasificado para el fluido específico en uso.

 

3. Dimensionamiento de tuberías, velocidad del flujo y caída de presión

ASHRAE TC 9.6 establece una velocidad máxima del fluido de2,1 m/s para diámetros de tubería superiores a 3 pulgadaspara evitar la erosión en accesorios y curvas. Por debajo de 3 pulgadas, el límite práctico está más cerca de 1,5 a 1,8 m/s antes de que el ruido y el riesgo de erosión aumenten de manera inaceptable. Estos límites se aplican a ambas arquitecturas de refrigeración, pero crean resultados de tamaño muy diferentes.

En los sistemas D2C, el caudal lo dicta la carga térmica de cada placa fría. A medida que aumenta el TDP (potencia de diseño térmico) del chip, - las GPU H100 modernas funcionan con un TDP de 700 W, con los aceleradores de próxima-generación proyectados a 1000 W+ -, la demanda de flujo por placa fría aumenta proporcionalmente. Un bastidor de 50 kW con refrigeración D2C puede requerir de 8 a 12 litros por minuto de refrigerante en el colector del bastidor, distribuido entre 8 y 16 placas frías individuales. Esto genera la necesidad de un equilibrio hidráulico cuidadoso: las placas frías en paralelo deben compartir el flujo de manera equitativa, o las virutas más calientes - típicamente las que se encuentran al final de la rama del colector - se quedarán sin capacidad de enfriamiento.

En los sistemas de inmersión, el circuito de tubería externo transporta la carga de calor del tanque lleno, pero a una velocidad y presión mucho más bajas porque el mecanismo impulsor dentro del tanque es la convección y el bombeo a baja-velocidad, no un flujo forzado a alta-presión. Un tanque de inmersión de 250 kW normalmente requiere sólo de 20 a 30 litros por minuto a través del circuito del intercambiador de calor externo, a presiones del sistema que rara vez superan los 2 a 3 bar.

La decisión sobre el trazado aéreo o subterráneo también afecta el tamaño. La guía de ASHRAE señala que los tramos de tuberías bajo el piso deben tener en cuenta el espesor del aislamiento y el espacio libre entre las tuberías - agregar 50 mm al diámetro de la tubería cuando se tiene en cuenta la envoltura aislante es un error de planificación común que crea conflictos de coordinación con los diseños de losetas de piso elevado-.

 

4. Válvulas de aislamiento, filtros y control de fugas: el detalle de la especificación que protege el tiempo de actividad

Aquí es donde las especificaciones de las tuberías determinan directamente la resiliencia operativa y donde se suscriben la mayoría de los documentos de especificaciones.

Para sistemas D2C, cada bastidor debe tener una válvula de aislamiento en las patas de suministro y de retorno, lo que permite aislar y drenar un solo bastidor para mantenimiento sin cerrar los bastidores adyacentes. El tipo de válvula preferido para esta aplicación es unaVálvula de bola roscada de 3 piezasen acero inoxidable 304 o 316. El diseño del cuerpo de tres-piezas es fundamental aquí: a diferencia de las válvulas de una-pieza o de dos-piezas, se puede desmontar en su lugar - sin cortar la tubería ni quitar el cuerpo de la válvula de la línea - para reemplazar los sellos o limpiar el asiento. En un entorno de centro de datos en vivo donde minimizar el tiempo de inactividad del rack es primordial, esta capacidad de servicio en línea-es una ventaja operativa significativa, no un lujo de especificación.

Antes de cada colector de rack, se requiere un filtro en Y de acero inoxidable para proteger los micro{0}}canales de la placa fría de la contaminación por partículas. Las geometrías de placa fría para GPU de alto-rendimiento utilizan anchos de canal tan estrechos como entre 0,5 y 1,0 mm; una partícula de 200 micrones puede bloquear parcialmente un canal y crear un punto caliente localizado que el monitoreo térmico puede no detectar hasta que comience la estrangulación del chip. Especifique filtros con una malla de 50 micrones o más fina en el circuito TCS, según las pautas de calidad del agua de ASHRAE TC 9.9.

En el tramo de retorno, una válvula de retención de acero inoxidable evita el flujo inverso a través del intercambiador de calor de la CDU cuando se aísla un bastidor o se dispara una bomba - un evento de reflujo que puede introducir fluido caliente en el cabezal de suministro y elevar las temperaturas del refrigerante en toda la fila antes de que respondan los controles.

Para conexiones de servidor-a-colector, especifique accesorios de desconexión-rápida-en seco con un derrame máximo permitido de 1 centímetro cúbico por ciclo de desconexión, de acuerdo con los estándares de conexión OCP (Open Compute Project). Los segmentos de manguera flexible en estas conexiones se deben asegurar con abrazaderas adicionales a intervalos de 150 mm para evitar la caída de presión inducida por el hundimiento-y la tensión en las roscas de los accesorios.

Para sistemas de inmersión, la especificación de aislamiento es más simple pero no trivial. Cada tanque necesita válvulas de aislamiento de suministro y retorno dimensionadas para el flujo completo del tanque, además de un puerto de muestra para monitorear la calidad del fluido. Especifique las conexiones del circuito externo en un material compatible con el fluido dieléctrico específico - confirme la compatibilidad con el proveedor del fluido por escrito antes de finalizar la especificación, ya que las formulaciones de fluidos patentadas varían.

El cable de detección de fugas debe tenderse a lo largo de toda la longitud de todos los tramos de tubería de suministro de D2C, ubicado en el punto accesible más bajo de cada bandeja de tubería o bandeja de cables. Para los sistemas de inmersión, los detectores de fugas con sensores puntuales-en cada base del tanque y en la CDU son suficientes, dado que las conexiones de tuberías externas son pocas y de alta-visibilidad.

 

 

Válvula de bola roscada Leadtek de 3 piezas

 

5. Una lista de verificación de especificaciones prácticas antes de emitir para la construcción

Antes de que su especificación de tubería salga del equipo de ingeniería, verifique lo siguiente con la arquitectura de enfriamiento elegida:

Cumplimiento de materiales: Todos los metales mojados confirmados libres de aleaciones de zinc y aluminio (D2C); todos los elastómeros confirmados son compatibles con la química del fluido dieléctrico (inmersión)

control de velocidad: Máximo 2,1 m/s en tuberías mayores o iguales a 3" de diámetro, según ASHRAE TC 9.6

Válvulas de aislamiento: Una válvula de bola roscada de 3 piezas por rack, suministro y retorno, con capacidad de servicio-en línea (D2C)

Clasificación del colador: Malla inferior o igual a 50 micrones en el suministro de TCS, aguas arriba de cada colector de rack (D2C)

Colocación de la válvula de retención: tramo de retorno de CDU, cada rama de retorno de bastidor (D2C)

Especificaciones de-desconexión rápida: rotura-seca, derrame menor o igual a 1 cc, compatible con OCP-(D2C)

Detección de fugas: Cable continuo en todos los tramos de suministro (D2C); Sensores puntuales en la base del tanque y CDU (inmersión)

Espacio libre bajo el suelo: Diámetro exterior de la tubería más aislamiento más espacio libre de cruce de 50 mm confirmado en el modelo de hueco del piso

Plan de tratamiento de agua: Programa químico específico del sitio-realizado antes de llenar el sistema, con un protocolo de monitoreo continuo especificado

 

Conclusión: Especifique el sistema de tuberías para que coincida con la arquitectura de refrigeración, y no al revés

La decisión sobre la tecnología de refrigeración y la especificación de las tuberías no son pasos secuenciales - sino que son una única decisión de ingeniería integrada. La elección entre inmersión y enfriamiento D2C establece la lógica hidráulica, las limitaciones de materiales, la estrategia de aislamiento y el perfil de riesgo de fugas de todo su sistema de fluidos. Intentar adaptar una especificación genérica de tubería hidrónica de HVAC a cualquiera de las arquitecturas producirá un sistema que tendrá un rendimiento operativo inferior y creará una exposición innecesaria al mantenimiento.

Involucre sus especificaciones de tuberías en el diseño esquemático, junto con la selección de la arquitectura de enfriamiento. Utilice ASHRAE TC 9.6 y TC 9.9 como marco de cumplimiento básico y verifique cada selección de materiales con la química del fluido real en su sistema - no con una suposición genérica de "agua". Los 30 minutos dedicados a obtener el tipo de válvula de aislamiento y la clasificación de malla del filtro en la etapa de especificación ahorrarán considerablemente más de 30 minutos en tiempos de inactividad futuros.

 

Preguntas frecuentes

P: ¿Puedo utilizar tuberías de acero al carbono estándar para HVAC para un circuito de enfriamiento directo-a-los chips?

El acero al carbono se utiliza en los circuitos de agua enfriada del lado de las instalaciones (FWS), pero no es apropiado para el circuito del Sistema de enfriamiento tecnológico (TCS) que sirve directamente a las placas frías. El circuito TCS hace funcionar agua altamente purificada con bajo contenido iónico, que es más corrosiva para el acero al carbono que el agua tratada para HVAC. Especifique acero inoxidable 304 o 316 para todas las tuberías y accesorios de bucle TCS.

P: ¿Por qué el fabricante de mi CDU especifica un tamaño de conexión de tubería diferente al de mi proveedor de placa fría?

Las CDU y las placas frías a menudo provienen de diferentes fabricantes y están diseñadas para diferentes supuestos de resistencia al flujo interno. La discrepancia en el tamaño de la conexión es un problema de equilibrio hidráulico: si la CDU espera 10 L/min a 2 bar y las placas frías requieren colectivamente 14 L/min para mantener las temperaturas de unión del chip, ninguna de las especificaciones del proveedor es incorrecta - el diseño del sistema no las ha conciliado. Antes de finalizar el dimensionamiento de cualquier conexión, se debe completar un modelo hidráulico del circuito TCS completo, desde la salida de la CDU hasta cada placa fría y viceversa.

P: ¿Con qué frecuencia se deben limpiar los filtros en Y en un circuito de enfriamiento D2C?

Durante los primeros 90 días de funcionamiento, inspeccione mensualmente las cestas de filtro. - los nuevos sistemas de tuberías arrojan partículas a medida que los revestimientos de las tuberías se curan y los accesorios se asientan. Después del período de adaptación-, la inspección trimestral suele ser suficiente para los sistemas de circuito cerrado-con monitoreo continuo de la calidad del agua. Si su CDU incorpora un sensor de presión diferencial en el filtro, configure una alarma a 0,3 bar delta-P como línea base-de la cesta limpia.

P: ¿Es más sencillo especificar las tuberías de enfriamiento por inmersión que las D2C?

La red de tuberías externas para el enfriamiento por inmersión es significativamente más simple: - menos puntos de conexión, menor presión y sin distribución de colectores a nivel de rack-. Sin embargo, la especificación del material es más compleja porque se debe verificar la compatibilidad del fluido dieléctrico para cada elastómero, junta y conector flexible del sistema. El modo de falla que produce una compatibilidad incorrecta del material en un sistema de inmersión es lento y difícil de detectar: ​​degradación del sello durante 12 a 18 meses, seguida de pérdida gradual de fluido y contaminación, en lugar de la fuga inmediata y visible que producen los sistemas D2C.

P: ¿Cuál es la altura mínima del vacío en el piso requerida para los tendidos de tuberías de enfriamiento D2C debajo de un piso elevado?

La guía de ASHRAE no establece un mínimo universal, ya que depende del diámetro de la tubería, las especificaciones de aislamiento y si las tuberías se cruzan entre sí. Una regla de planificación práctica es permitir el diámetro exterior de tubería más grande en el tramo, más 75 mm de aislamiento en todos los lados, más un espacio libre de 50 mm arriba para tuberías cruzadas, más 25 mm abajo para soportes. Para una tubería principal de suministro de 4-pulgadas con aislamiento de 25 mm, esto produce un vacío mínimo en el piso de aproximadamente 300 mm - más grande que el vacío de 250 mm común en los centros de datos de piso elevado heredados, lo cual es una limitación de modernización que vale la pena identificar con anticipación.