Погружное охлаждение нового поколения

Производительность современных суперкомпьютеров в основном ограничена потребляемой мощностью. TSUBAME-KFC - разработанный в Токийском Институте Технологий, является современным прототипом суперкомпьютера нового поколения.

Чтобы уменьшить общее потребление электроэнергии высокопроизводительным компьютером, необходимо убрать энергоёмкие компрессоры, при этом сохранив рабочую температуру процессоров. Разработчиками было принято решение построить систему с использованием погружного масляного охлаждения (TSUBAME-KFC).  В системе TSUBAME-KFC была внедрена данная технология, что позволило использовать стандартные сервера. Несмотря на то, что общее необходимое количество масла более 1000 литров, по сравнению с несколькими литрами жидкости для стандартного водяного охлаждения в трубках, погружение в масло имеет преимущественно с учетом заданной теплоемкости для контроля и устойчивости к колебаниям мощности системы.

Погружение также имеет преимущество эффективного охлаждения для всех компонентов системы, а не только для процессоров и блоков питания, тем самым добавляя к эффективности охлаждения стабильность работы в целом. Для охлаждения самого масла есть теплообменник, который передаёт тепло во вторичный водяной контур, а вода, в свою очередь, охлаждается с помощью внешнего воздуха (испарительная градирня, установленная снаружи).

Градирня является стандартным капельным охладителем, где вода медленно течёт на дно, охлаждаясь окружающим воздухом. Температура охлаждения не может опускаться ниже точки росы, поскольку максимальная температура на выходе TSUBAME-KFC составляет 35°С, а также по причине наличия значительного объема масла и воды при охлаждении. Система позволяет усреднить термические процессы без точек критических температур. Таким образом, для подобной системы не требуется установки чиллеров, даже при окружающей температуре до +35°С и высокой влажности воздуха.

Таким образом, необходимая мощность охлаждения получается из работы двух насосов для циркуляции масла и водяного контура, а также внутреннего вентилятора у градирни, что сводит к минимуму энергопотребление в отличие от аналогичных систем с воздушным охлаждением.

Для успешного функционирования системы на платах не требуется наличие кулеров и термопасты между кулером и процессором, все кулеры заменены тонкими металлическими радиаторами для возможности работы в масле. Для охлаждения системы предложен масляный хладагент Exxon Mobil. Его температура воспламенения 260°С, что делает его безопасным для использования в данной системе охлаждения. Также этот хладагент является хорошим выбором в нишевом ценовом аспекте. Для примера, он стоит около 20 тыс. долларов США за 1200 литров, включая стоимость авиаперевозок, что составляет всего 2% от стоимости всей системы TSUBAME-KFC). 

Система высокопроизводительных модулей суперкомпьютера (1) интегрирована в контейнер (3) габаритами 16м², в котором расположен резервуар с масляным хладагентом (2), куда погружены модули (1) компьютера. Температура модулей составляет от 40 до 80°С, и они охлаждаются маслом с температурой 35-45°С. Для охлаждения резервуара с маслом устанавливается теплообменник (4). Температура воды на входе теплообменника порядка 25-35°С. Для понижения температуры воды и её циркуляции в теплообменнике служит вынесенная за пределы контейнера градирня (5), которая обеспечивает температуру воды 25-35°С путем теплоотдачи в окружающую среду (6). Вся система достаточно компактна, так как в ней нет необходимости дополнительно размещать громоздкие чиллеры, что характерно для других систем.

Экономичность и эффективность

Согласно измерениям, потребляемая мощность оборудования TSUBAME-KFC составило 28,9 кВт, мощность насосов и градирни 2,69 кВт, для коэффициента эффективности энергопотребления 1,09. Суммарная мощность потребления системы на основе масляного охлаждения получается 31,59 кВт, а аналогичной системы на основе воздушного охлаждения 40,7 кВт. Коэффициент эффективности энергопотребления системы с воздушным охлаждением порядка 1,3. Таким образом, масляная система на 22,4% экономичнее системы с воздушным охлаждением.

Стоимость технического обслуживания

Для проведения технического обслуживания компонентов не требуется много времени, несмотря на то, что их придётся извлекать из масляного хладагента. В качестве примера приведена таблица с примерным расчётом времени обслуживания одного модуля (в данном случае устанавливается дополнительный накопитель SSD).

Операции по извлечению/погружению компонента в масляный хладагент занимают 4м 40с, что составляет примерно 28% от всего времени технического обслуживания модуля.

В заключении можно сказать, что инновационная система охлаждения суперкомпьютера Tsubame-KFC действительно заслуживает самой высокой оценки, так как при потребляемой мощности 27,78кВт этот компьютер имеет производительность 4,503 MFLOPS/W, что выводит его на первую позицию по самым экономичным и производительным суперкомпьютерам Green500.