В конце июня этого года, на выставке ISC’14 в Лейпциге, более 20 компаний продемонстрировали различные варианты технологий охлаждения HPC. В последнее время этот рынок стал конкурентоспособным и производители должны постоянно предлагать новые решения, чтобы оставаться на «гребне волны». Некоторые из них решили начать использовать новые технологии, другие же предпочитают совершенствовать старые, зарекомендовавшие себя на рынке.

Джефф Лион, генеральный и технический директор CoolIT Systems, считает, что в связи с разнообразием конфигураций HPC систем, гибкости систем охлаждения должно уделяться особое внимание. «У нас есть широкий спектр продуктов, которые мы можем компоновать, чтобы создать уникальное решение для нашего заказчика. Мы работаем с жидкостным охлаждением прямым контактом с момента появления нашей компании. Это, в сущности, предполагает использование водоблока с микро-канальной внутренней структурой для удаления тепла от источника». Компания предлагает модульную систему жидкостного охлаждения, которая совместима практически с любой конфигурацией стандартных стоек и с любым типом серверов. Также решение CoolIT может быть использовано с горячей или холодной водой. «То, что мы всегда пытаемся сделать — это просто увеличить эффективность наших систем. Мы минимизировали дельту (разницу) температур охлаждающей жидкости и процессора, так как процессоры беспроблемно функционируют при температурах вплоть до 70 °C и даже выше. Это небольшое различие в температурах позволяет использовать теплую воду в качестве охлаждающей жидкости».

Бельгийская компания Calyos также использует технологию жидкостного охлаждения прямым контактом, но придерживается другого пути технологического развития. Её технология пассивного двухфазного охлаждения первоначально была разработана для охлаждения силовой электроники (например, для наземных преобразователей энергии). но теперь доступна и на рынке HPC.

Скрытое тепло

Для удаления тепла с CPU и GPU система Calyos использует скрытое тепло парообразования с пассивным капиллярным насосом. Использование двухфазной технологии с пассивным капиллярным насосом означает, что тепло может быть удалено от компонентов без необходимости в подаче внешней энергии для перекачки жидкости внутри сервера.

Максим Вукович, бизнес разработчик Calyos, объясняет: «Всё начинается с подачи жидкости (100%) на вход испарителя. После этого, под действием капиллярных сил, жидкость испаряется  (100% пар), поглощая большое количество тепла. Благодаря скрытой теплоте испарения у вас почти нет никаких ограничений. Если бы сейчас существовал процессор с тепловыделением в 400 Ватт, то мы могли бы охладить и его». В качестве охлаждающей жидкости в системе Calyos может использоваться метанол, но также возможно использование других хладагентов. Само решение состоит из четырех основных частей: блок охлаждения CPU; конденсатор; система трубок, которая позволяет жидкости и пару достигать конденсатор; и резервуар, который интегрирован в испаритель. «Преимущество в том, что мы используем испарение. Жидкость внутри системы входит в жидкой форме, всасывается через капиллярный насос и полностью испаряется».

Вукович подчеркнул, что пассивность системы означает то, что насосам нет никакой необходимости перемещать жидкость или пар внутри системы охлаждения: «Это означает, что вы можете извлечь тепло за пределы сервера, не тратя ни ватта электроэнергии». Он отметил, что хотя «в настоящее время насосы очень надежны, и срок гарантийной работы составляет около 50000 часов, они по-прежнему потребляет электроэнергию и увеличивают вероятность того, что система может выйти из строя.

Сервер для плавания

Существует и другой подход к охлаждению, радикально отличающийся от вышеперечисленных — компания Green Revolution Cooling (GRC) предлагает погружать сервера в контейнер с хладагентом. Решение GRC CarnoJet предлагается в двух версиях: стандартный и контейнерный вариант. В стандартном исполнении серверы установлены в специальных стойках, которые содержат диэлектрическую жидкость ElectroSafe. Контейнерная версия использует ту же технологию, но стойки предварительно установлены в контейнер. «У нас есть один продукт, который размещается в транспортном контейнере ISO (20, 40 или 53 футов), а также стандартный вариант CarnotJet, который может подойти практически любому Центру Обработки Данных. Он может быть установлен в любом месте. Всё, что требуется — это плоская, ровная поверхность, электричество, каналы коммуникаций, крыша и водяной контур. Стены являются необязательными. Наши стойки напоминают стандартные стойки 42U, но перевёрнутые на бок. Мы можем сделать стойки больших размеров:  48, 55 и 60U; также мы можем сделать стойки любой ширины. У нас уже есть успешный опыт в конструирование не стандартных стоек. Один из них — проект Венского Технологического Института VSC-3, в котором мы использовали стойки шириной 30 дюймов», рассказал Брэндон Мур, инженер по продажам GRC. Система VSC-3 является третьем итерацией HPC кластера, вычислительными ресурсами которого в будущем будут пользоваться 8 австралийских университетов.

Убрать всё ненужное!

Удаление ненужных компонентов (прим.: вентиляторы) снижает энергопотребление на уровне сервера примерно на 10-20% (для воздушного охлаждения этот показателен примерно равен 5%), что даёт 50% сокращение потребления электроэнергии Центром Обработки Данных в целом. В связи с ликвидацией традиционного холодильного оборудования и связанной с ним инфраструктуры, этот подход также снижает капитальные затраты на инфраструктуру и затраты на развёртывание ЦОД.

Мур сказал: «Допустим, вы строите новый ЦОД, мы устраняем необходимость в чиллерах, кондиционерах, фальшполу — это действительно помогает упростить сборку. Некоторые клиенты сообщают, что сэкономили на развёртывании систем до 60%. С первого дня вы экономите на инфраструктуре, стоимость которой обычно больше, чем стоимость всей системы в целом (прим. автора: стоимость компьютерного «железа»)».

Контейнерные решения могут быть чрезвычайно эффективны при развертывании на новых площадках. Однако верно и обратное: существующим ЦОД’ам с более традиционной инфраструктурой (прим.: фальшпол), будет больше пользы от решений, которые могут быть адаптированы к более стандартному окружению.

«Всё что мне нужно за пределами моей системы (GRC) является — испарительная градирня и водяной контур. Испарительные градирни чрезвычайно рентабельны, очень надежны и просты в обслуживании. Это действительно сокращает количество подрядчиков, которые вам нужны при развёртывании, а также снижает расходы на оплату настройки вашей системы», рассказал Мур.

CoolIT разработала своё собственное решение, чтобы облегчить нагрузку на операторов ЦОД’ов. Джефф Лион рассказал: «Беда в том, что в компьютерной индустрии, есть много людей, которые слишком спешат. Прокладка водяного контура иногда занимает много времени. С одной стороны у вас есть ИТ-группа, которая жаждет быстрее установить новое оборудование, с другой — вам нужно качественно организовать контур жидкостного охлаждения…расписания не всегда совпадают. В итоге мы пришли к тому, что разработали собственный воздушный теплообменник (AHx). При этом используется тот же манифолд и те же серверные модули, но вместо жидкостного теплообменника (CHx), используется воздушный с вентиляторами и помпами. Независимо от возможной стратегии рассеивания тепла, манифолд и серверные модули всегда одни и те же. Это сильно упрощает возможность сделать апгрейд в будущем, просто поменяв основной модуль с AHx на CHx».

Теплообмен и эффективность

CoolIt улучшила производительность своей системы благодаря запатентованной (в 2007 году) технологии «разделения потока». Данная технология явилась результатом научных исследований отдела R&D компании CoolIt, нацеленных на улучшение производительности жидкостного охлаждения при одновременном снижении требований к питанию насосных установок. Лион сказал: «Мы специально разрабатывали именно низкопрофильную версию технологии «разделения потока». Некоторые трудности, с которыми мы столкнулись при достижении своей цели, помогли нам сделать ещё несколько инновационных открытий. Наибольшая эффективность теплообмена достигается при очень плотной группировки микроканалов. В настоящее время мы достигли значений в несколько сотен микрон».

Лион объяснил, что подобная конструкция увеличивает эффективность теплообмена холодной пластины, и в то же время помогает свести к минимуму падение давления в водяном контуре. «Чтобы эффективно отводить тепло от процессоров, скорость потока жидкости в контуре должна быть на довольно высоком уровне. Но в то же время, мы хотим минимизировать мощность помп, необходимую для достижения высокой скорости потока».

Для Вуковича (Calyos) — максимизация коэффициента теплопередачи является ключом к эффективности. Он сказал: «Тепло, которое вы можете передавать, напрямую зависит от поверхности теплообмена — чем больше радиатор, тем больше тепла можно передать. Это также связано с большим значением Delta T (изменение температуры) между процессором и холодным источником. Коэффициент теплопередачи зависит от используемой технологии. Чем больше коэффициент теплопередачи, тем большую производительность вы можете получить от всей системы в целом».

Вукович отметил, что это является основным преимуществом технологии Calyos: «Так как поверхности теплообмена и показатель Delta T в основном одинаковы для всех технологий охлаждения, единственный способ улучшить охлаждение — увеличение коэффициента теплопередачи. Испарение является ключевым решением для его достижения. Это означает, что вы сможете сделать систему более мощной, более компактной и более надежной, или вы сможете работать с меньшей Delta T».

Компания Green Revolution Cooling (GRC) применила свою технологию в HPC TSUBAME-KFC, который занимал 1 место в списке Green500, опубликованном в июне 2014 года. Этот суперкомпьютер установлен в Токийском технологическом институте и является единственной системой, которая преодолела барьер в 4000 мегафлопс в расчете на 1 ватт.

Брэндон Мур подчеркнул эффективность технологии GRC: «Если у вас есть 100 киловаттая система, то нам будет достаточно около 3 киловатт для её охлаждения. Плотность, которую мы можем достичь гораздо выше, чем с воздушным охлаждением, примерно 100 кВт в одной стойке. Мы можем построить мегаваттный Центр Обработки Данных, состоящий всего из 10 стоек. Вы можете «упаковать» оборудование, как вам нравится. У нас ещё не было клиента, который бы смог достигнуть верхний предел того, на что способна одна стойка.»

Будущее будет холодным

Примеры, описанные в статье, показывают, что рынок охлаждения HPC конкурентен и стимулируется инновациями. Поскольку вопрос важности энергоэффективных вычислений продолжает расти из года в год, и спрос на подобные услуги и решения тоже повышается, компании не беспокоятся за будущее своих решений. Джефф Лион, генеральный и технический директор CoolIT Systems, сказал: «Мы потрясены уровнем активности клиентов, заинтересованных в жидкостном охлаждении. Я ожидаю, что в ближайшие годы он только возрастёт».

Максим Вукович, бизнес разработчик Calyos, также оптимистично настроен. «Жидкостное охлаждение имеет светлое будущее, и не только потому, что позволяет снизить показатель PUE, но и предлагает лучшее решение по охлаждению CPU, не смотря на ежегодно увеличивающееся тепловыделение. Это означает, что в будущем инфраструктура HPC будет иметь ещё более высокую «тепловую плотность». Я думаю, что мы собираемся выйти на рынок, который требует решений с очень высокой производительностью, и мы сможем их предоставить.»

Оригинал статьи: Scientific-Computing.com