Иммерсионное жидкостное охлаждение для ультраплотных ЦОД

Отвод тепла методом непосредственного окунания охлаждаемого объекта позволяет удерживать температуру оборудования в требуемых для функционирования системы рамках и открывает путь для создания нового поколения ультраплотных систем. Из-за большого расстояния между молекулами, воздух — очень слабый проводник и аккумулятор тепла; эти показатели примерно в 25 раз хуже, чем у обыкновенной воды. Неудивительно, что жидкостное охлаждение постепенно заменяется воздушным. Из-за неуклонного роста количества серверов компоновка ЦОДов становится все более плотной, что само по себе приводит к росту температуры в стойках. Помещение объекта в жидкую среду заменяет устаревшие способы воздушного остужения ультраплотных ЦОДов.

Современные системы требуют большого количества вентиляторов для направления больших объемов воздуха на обдуваемые поверхности по специально рассчитанным каналам в корпусе устройства. Подобные способы увеличивают потребление энергии и существенно повышают уровень шума и риски. Отказ охлаждающего оборудования зачастую становится причиной возникновения серьезных проблем. Разработчики современных микросхем постоянно работают в направлении снижения энергопотребления, а с ним и излучаемого тепла. Уменьшение тепловыделения чипов позволит увеличить плотность компоновки, но уже сейчас понятно, что традиционные устройства теплоотвода ограничивают максимальную плотность размещения компонентов.

Пытаясь выйти за накладываемые традиционными способами рамки, разработчики погружают аппаратные компоненты в жидкую среду. Подобный метод – инновационная технология, которая, несомненно, совершит переворот в области центров хранения данных.

Один огромный охладитель

Ввиду плотности, жидкость является идеальным хладагентом. Молекулы растворов обволакивают охлаждаемый объект, что способствует легкому поглощению тепловой энергии. Чиллерная вода, которая циркулирует в теплообменниках дата-центров, долгое время была основным теплоносителем.

Но вода и электричество в данном случае плохая пара. Вода — проводник, и вдобавок вызывает коррозию элементов. Нарушение целостности охладительного контура зачастую оборачивается настоящей катастрофой! Опасность воды — вот основная причина отказа многих ЦОДов от жидкостного охлаждения.

«У нас уже были инциденты, связанные с авариями в системе водяного охлаждения, которые имели значительные последствия, – поделился информацией Tim Noble, IT-директор, входящий в консультативный совет ReachIPS Inc., провайдера интернет-сервисов из города Cupertino, California. – Избавившись от жидкости, мы предотвратим опасности протечек или затопления».

Инновация состоит в выборе нового вещества в качестве теплоносителя. Обыкновенная вода заменяется другой субстанцией, которая обладает диэлектрическими свойствами, а также будет инертной по отношению к электронным компонентам. Например, это могут быть минеральные масла, или флюиды Green Revolution Cooling.

Использование новой методики позволит погрузить охлаждаемые объекты непосредственно в теплоноситель без ущерба для электронных компонентов и изменения их параметров.

Что такое иммерсионная жидкость

В качестве теплоносителя используется минеральное масло. Это белое прозрачное вещество без какого-либо запаха. Самое качественное масло для охлаждения техники производится в США. В его составе нет компонентов, опасных для здоровья людей. Иммерсионное масло не является горючим веществом.

Применение масла абсолютно безопасно. Теплоноситель является диэлектриком и не проводит электрический ток. Иммерсионная жидкость не может стать причиной поломки техники. Вещество не реагирует с железом, оловом, никелем, медью, алюминием, хромом и другими веществами, из которых изготавливают приборы.

Методы погружного охлаждения

Существует два базовых метода погружного охлаждения – однофазный и двухфазный. Однофазный способ базируется на погружении оборудования в хладагент и отводе излишков тепла от устройств циркуляцией жидкости, которую должна обеспечить насосная установка. На этом принципе базируется установка CarnotJet от группы Green Revolution Cooling, – простое, но эффективное решение.

Существуют системы, использующие циркуляцию хладагента лишь по индивидуальным изолированным отсекам и не требующие погружения всей стойки. Одним из таких решений является установка от LiquidCool Solutions, которая связывает несколько серверных модулей в единую систему.

Двухфазный метод взят на вооружение компанией Allied Control и реализован в инновационном решении Immersion-2. Используемый Allied Control теплоноситель от группы 3М обладает диэлектрическими свойствами, инертен по отношению к другим веществам. Кроме того, он имеет низкую температуру фазового перехода: 34°C, 49° C, или 56°C (зависит от используемого флюида). Вблизи источников тепла теплоноситель нагревается, закипает, испаряется и совершает обратный переход в жидкое состояние в конденсаторе.

Теплоноситель от 3М — это продукт химии перфторированных соединений. Длительные исследования завершились ошеломляющими успехами: в мировую практику стремительно вошел новых класс веществ – фторированные кетоны. Это наименование получили органические вещества синтетического происхождения, в молекулах которых частицы водорода заменяются частицами фтора, крепко связанными с углеродным скелетом. Флуоркетоны Novec® представляют собой прозрачную жидкость, не имеющую цвета и запаха. Обладает диэлектрическими свойствами, нетоксична, не вступает в реакции с другими веществами, имеетнизкую температуру кипения. За внешнюю схожесть кетоны названы сухой водой. Исследования нового вещества показали его эффективность для использования в системах теплоотвода и газовом пожаротушении.

Основное преимущество метода — его эффективность. Из-за естественной циркуляции теплоноситель не нуждается в перекачке. Это позволяет отказаться от дорогостоящего насосного оборудования, ведь после конденсации весь теплоноситель остаётся в резервуаре!

Требуемая температура конденсатора задается при помощи обыкновенной воды. Для работы подобной системы требуется гораздо меньше электроэнергии, если сравнивать с традиционными решениями. А два фазовых перехода способны отвести гораздо больше тепла!

Контейнеры двухфазной иммерсионной системы охлаждения

Впечатление от погруженного в «воду» и работающего компьютера были настолько сильными, что мы тут же собрали следующий уже более пристойный макет.

Мы не остановились и на этом и быстро сделали боооольшой бокс, куда можно опустить стандартный 19-и дюймовый сервер. Да, мы понимаем, что он делался для воздушного охлаждения и наше погружное охлаждение слишком избыточно для него. Такой сервер можно охладить стаканом «сухой воды»!

Пластиковый бокс получился удобным в работе. И хоть он и был сделан для сервера, но большую часть времени в нем был погружен обычный кипятильник. Сервер в пластиковый бокс мы вставляли в основном для демонстрации и для сбора статистики наработки на отказ.

Мы провели много времени, экспериментируя с различными режимами, для сбора данных был использован промышленный контроллер.

Полученные знания были превращены в очередной бокс или как мы его теперь называем контейнер. Это по-прежнему опытный образец и служит он в основном для демонстрации, но на этот раз изготовлен уже из стали, ведь мучим мы его уже в полевых условиях, совместно с заказчиком.

Для управления контейнером и контроля его внутренних параметров используется микропроцессорный блок. Этот блок постоянно мониторит параметры внутренней среды контейнера, такие как давление, температура, температура теплоносителя на входе и выходе скорость его движения. Контролируются и параметры энергоснабжения — напряжения и потребляемый нагрузкой ток. Отдельные датчики контролируют уровень жидкости, отслеживается статус открытия и закрытия крышки контейнера для контроля доступа. Получаемые данные в реальном времени передаются на выделенный сервер. Информация доступна для дальнейшей обработки, как машинными методами, так и для визуальной оценки в виде графиков, удобных для понимания. Реализован доступ и с мобильных устройств.

Что мы узнали и чего добились на сегодняшний день?

Так жидкостная система практически бесшумна. Если вы когда-то были в дата-центре или хотя бы заходили в серверную, то звук постоянно взлетающего самолета для вас не в новинку. С жидкостью все не так. Жидкость передает тепло в 3500 раз лучше воздуха. Соответственно для отбора от нагретого процессора одного и того же количества тепла жидкости нужно в 3500 раз меньше, поэтому объемы прокачиваемые через сервер значительно меньше, а значит и тише.

Другим плюсом может быть то, что жидкость не только хорошо отбирает тепло от серверов, но также хорошо отдает его. Технически трудно утилизировать многие кубометры теплого воздуха, а вот найти применение теплой воде гораздо проще, руки помыть и то приятно.

Еще одним плюсом использования фторкетонов является их «природная» пожарная безопасность. Некоторое время назад в сети мелькали фотографии сгоревшей фермы для майнинга биткоинов. В нашем случае такое совершенно невозможно. Имеющегося количества жидкости хватит загасить вполне приличный пионерский костер.

Отдельная польза становится очевидной, когда ты достаешь сервер из ванны. Он выглядит так, как будто его только что достали из пластиковой упаковки фирмы-изготовителя и совсем не похож на жареный во фритюре кусок железа.

Наиболее часто нам говорят о высокой стоимости теплоотводящей жидкости. Отвечая на него, хочется заметить, что эта жидкость и так уже присутствует в любом дата-центре в системе газового пожаротушения. Да, там она спрятана в баллонах, но и у нас она залита в контейнеры и не циркулирует. Для минимизации потерь от испарения при колебаниях нагрузки мы используем холодную ловушку. Вторым аргументом является стоимость ИТ-начинки, которую требуется охладить. В сравнении с ней жидкость совсем не дорога.

Погружная система хороша тем, что не зависит от конкретной конфигурации охлаждаемого оборудования. Мы не переделываем ее под изменение серверной платы или другую видеокарту. У нас нет вентиляторов, холодных пластин, индивидуальных радиаторов, насосов, трубок, быстроразъемных соединений, коллекторов, шлангов, фитингов, герметичных разъемов, элементов управления, есть только один контейнер.

Циркуляция происходит естественным путем через испарение и последующую конденсацию, без лишнего оборудования и дополнительных затрат энергии. Отсутствует разница температур между устройствами. Отсутствует адвективное сопротивление, одна и та же температура на всех элементах погруженного устройства.

Контейнеры являются высокомобильным оборудованием. Поднять его под силу двум или четырем людям. Для его работы требуется лишь охлаждать теплоноситель до температуры кипения. Опробованные нами жидкости кипят при +34С, +49С, +61С, +76С, что позволяет использовать сухую градирню или даже просто прокачивать помпой воду из ручья.

Контейнер герметически закрыт, что исключает попадание влаги, песка, пыли и грязи. Работать он может в любом, даже совсем не оборудованном для работы месте.

Производимые нами контейнеры могут отводить 1, 5, 10 кВт тепла. Под заказ мы можем изготовить и более мощные контейнеры.

Используя контейнеры вы сохраняете полный контроль над своей информацией. Вы не передаете свои данные ни в дата-. Вы сами обеспечиваете физическую безопасность собственных данных.

Теперь о том, зачем мы этим занимаемся. Мы хотим дать возможность людям, самостоятельно распоряжаться своими данными, сколько бы велики они не были.

Основные преимущества иммерсионного охлаждения

Иммерсионное охлаждение имеет множество существенных преимуществ для сверхплотных центров нового поколения. Плотность компоновки серверов при использовании жидкостного охлаждения существенно растет. Исчезает опасность возникновения горячих точек из-за неверного распределения или блокировки воздушных потоков.

Современное оборудование полностью совместимо с иммерсионным методом. Кроме того, технология имеет многообещающие перспективы для использования в области высокопроизводительных вычислений, в которых задействованы модули, требующие отвода от 30 до 100 киловатт с одной стойки.

Еще одним существенным плюсом является длительный цикл процесса. Отказ от воздушного охлаждения приводит к перегреву оборудования в течении секунд. Дата-центры обычно выходят из подобной ситуации снижением нагрузок и постепенным отключением устройств, или срабатыванием резервной системы.

В случае поломки насоса, однофазный иммерсионный метод позволяет сохранить требуемую температуру хладагента гораздо дольше. Двухфазный, благодаря естественной циркуляции, вовсе не требует насосного оборудования. В качестве основного преимущества приводится арифметика снижения затрат на электроэнергию, ведь отвод тепла новым методом не требует приобретения дорогостоящих вентиляторов. Плюс в самом серверном зале становится больше места. «Представители Direct Liquid Cooling говорят, что иммерсионное охлаждение снижает расход электроэнергии до 60% и больше, – комментирует Andrew Donohue, руководитель группы аналитиков 451 Research. – Также отсутствие вентиляторов оставит в прошлом шум и вибрации, которые иногда сами становятся причиной поломки оборудования.

Недостатки новой технологии

Иммерсионному охлаждению свойственны и недостатки. Основным является высокая эффективность. На сегодня подавляющее большинство ЦОДов не требуют столь мощного охлаждения, и уход от воздушного способа к иммерсионному не оправдает финансовых затрат на модернизацию центра.

В случае, если ЦОД уже обладает системой CRAC, у владельца нет причин менять стабильно работающую схему, ведь современное оборудовании нормально функционирует и с воздушным охлаждением. Серьёзным поводом для внедрения погружного охлаждения становится развертывание сверхплотных вычислительных систем, обеспечение работы которых посредством старых методов теплоотвода становится проблематичным.

Увы, иммерсионное охлаждение требует существенных переделок центра. Сегодня структура ЦОДов основывается на вертикальных стойках, но иммерсионный метод требует горизонтального расположения баков. Также использование жидкости в качестве теплоносителя привносит в работу некоторые неудобства. При извлечении объекта требуется чистка и сушка (в последних наработках эти проблемы решены).

«Имеющиеся ЦОДы довольно сложно модернизировать, а компоненты, находящиеся в жидкой среде, имеют трудности с обслуживанием», – считает Scott Gorcester, представитель облачного провайдера VirtualQube.

Специалисты Gorcester и Donohue дополнительно ссылаются на возможные проблемы с эксплуатацией установок и утилизацией хладагента. Даже если ёмкости герметичны, важным аспектом остается фильтрование и очистка жидкости от различных частиц, которые могут ухудшать конвекцию и даже быть потенциально опасны для обслуживающего персонала.

По мнению David J.Cappucio, вице-президента в области исследований компании Gartner, для этого отлично подходят очищенные субстанции с низкой вязкостью, но высокой тепловой инерцией, которые, в свою очередь, должны быть экологичными и не иметь токсичных свойств, как, например, минеральные масла.

Однако в наше время еще нет ГОСТов для подбора хладагентов, их очистки и утилизации.