Previous: 4.7.8 Параллельные вычисления (многоядерный вариант)    UP: 4.7 Прикладные сети Интернет     Next: 4.7.10 Большие объемы данных (big data)

4.7.9 Охлаждение вычислительной техники

Семенов Ю.А. (ИТЭФ-МФТИ)
Yu. Semenov (ITEP-MIPT)

Если вы загляните в раздел Суперкомпьютеры, станет понятно, что проблема охлаждения сегодня сдерживает прогресс в высокопроизводительных вычислений. Если в вашей системе охлаждения для получения приемлемой температуры охлажденный воздух пропускается через перфорированные пластины, то вы тратите в пустую много энергии и денег. Существует несколько новых подходов для решения задачи охлаждения, обеспечивающих большую эффективность. Смотри "New data center cooling strategies to improve efficiency, lower costs" Клайв Лонгботом (Clive Longbottom).

Принципы, описанные ниже, могут использоваться для охлаждения любых электронных систем.

Простые беззатратные меры при проектировании новых информационных центров могут сэкономить 20-50% затрат на электрическую энергию, а системные меры позволят довести экономию до 90%. Самые эффективные с точки зрения энергозатрат вычислительные системы обеспечивают производительность более 950 MFLOP/W. Наименее эффективные супер-ЭВМ из 500 самых мощных имеют производительность 228 Мфлоп/Вт (на конец 2010г).

Типовой тариф на электрическую энергию (в США) составляет $0.12 за кВт-час. Это дает оценку для годовых издержек на один кВт полезной мощности примерно $1,000. За 10 лет жизни стандартного информационного центра это составит примерно $10,000 на кВт полезной нагрузки.

Известно, что полезная мощность составляет примерно половину всех энергозатрат. Вторая часть представляет собой потребление вспомогательных структур вычислительного центра, включая системы питания. А это означает, что каждый кВт при 10-летнем исчислении стоит $20000. Для 200-киловатного вычислительного центра это составит $4,000,000. Ниже на рисунке показано распределение энергозатрат типового вычислительного центра.

В лаборатории Lawrence Berkeley National Laboratory в Калифорнии было продемонстрировано еще в 2006 году, что раздача питания в виде постоянного тока в пределах информационного центра может сэкономить до 20% мощности. Удаление AC-DC-преобразователей из серверов понизит также уровень наводок и тепловыделение в серверной стойке. Впрочем, результат зависит от конкретного случая, см. Green Grid.

Основная доля энергозатрат приходится на систему охлаждения (33%, больше чем вычислительная техника!). Сюда еще нужно добавить затраты на кондиционирование (9%; CRAC - Computer Room Air Conditioner). Данный центр имеет эффективность 30%, так как именно такая доля энергии тратится на ИТ цели. При этом эта часть энергии тратится в основном на перезарядку паразитных емкостей в кристаллах и проводных соединениях.

Обычно заметная часть энергозатрат (до 30%) приходится на источники питания. С 2007 года в продажу стали поступать источники питания с эффективностью 80%, а в ближайшие три года эта цифра поднимется до 90%.

Рис. 1. Энергозатраты в типичном вычислительном центре

Из рисунка видно, что около трети всей энергии тратится на охлаждение вычислительного центра. Собственно вычислительное оборудование потребляет заметно меньше 40%.

Рост энергопотребления сопряжен с проблемами охлаждения. Хотя в принципе возможно использование для решения вычислительных задач сотен небольших серверов, в реальности это не практично. Компания IDC оценивает, что каждый доллар, потраченный на новые серверы сегодня, сопряжен с 50 центами расходов на энергопитание и охлаждение. Эта цифра может возрасти до 70 центов к 2011 году. В настоящее время реализуется также проект Green GRID для распределенных вычислительных ресурсов.

Рассмотрим общие принципы построения эффективной системы охлаждения. Во-первых, убедитесь, что ваш информационный центр не работает при слишком низкой температуре. Общество ASHRAE (American Society of Heating, Refrigeration and Air conditioning Engineers) определило рекомендуемые и допустимые температуры для информационных центров.

Максимальная верхняя температура в 2004 была установлена на уровне 25 градусов Цельсия. К 2008 году, она была поднята до 27^oC. К 2011, ASHRAE определила несколько типов информационных центров, а также рекомендуемые температуры на уровне (27^oC), Сообщество подняло допустимые температуры – температуры, при которых наблюдается сокращение времени наработки оборудования на отказ -- (45^oC). При фиксированном риске отказа более высокая рабочая температура информационного центра требует более низкого уровня охлаждения; это способствует сокращению число блоков кондиционирования воздуха (CRAC) и меньшему энергопотреблению.

Простейшим способом сэкономить деньги является уменьшение числа работающих блоков CRAC. Если требуется только половинная мощность охлаждения, выключение половины CRAC-блоков обеспечит экономию энергозатрат и стоимости эксплуатации системы в целом. Использование переменной скорости работы CRAC-блоков является еще одним способом достичь аналогичного результата, в этом случае блоки работают на скорости, нужной для поддержания рабочей температуры. Блоки работают наиболее эффективно, когда они работают на уровне 100%, а некоторые системы с переменной скоростью работы не будут оптимальны, когда работают при частичной нагрузке.

Действующий стандарт, CRAC-блоки c фиксированными скоростями, формирует тепловую инерцию и может быть эффективной с ценовой точки зрения. Здесь, информационный центр охлаждается до температуры значительно ниже необходимой, и тогда они отключаются. Информационный центр после этого разогревается до определенного уровня, и CRAC-блоки снова включаются. При этом процессе блоки работают с полной нагрузкой и при максимальной эффективности. Когда они выключаются, они работают весьма энерго эффективно -- так как совсем не производится переноса энергии.

Тем не менее, прямые объемные подходы для охлаждения информационных центров остаются неэкономными, вне зависимости от того как осуществляется охлаждение воздуха; большая часть воздуха при охлаждении не вступает в прямой контакт с каким-либо ИТ-оборудованием, чтобы осуществить эффективное охлаждение.

Охлаждение воздухом

Использование отдельных проходов для горячего и холодного воздуха требует меньшего объема охлаждающего воздуха, если они подобраны правильно (см. рис. 2).

Рис. 2. Проходы для тепла и охлаждения

Пространства между стойками с обеих сторон закрываются, "крышей", размещенной поверх стоек и дверей. Холодный воздух поступает в замкнутое пространство. Blanking plates используются для предотвращения утечки холодного воздуха из стойки. Воздуховоды подают охлажденный воздух к самым разогретым частям оборудования.

Горячий воздух либо выпускается в информационный центр, либо собирается и используется для согревания других помещений. Горячий воздух может также использоваться для подогрева воды. Эти системы могут иметь сложное инженерное обеспечение, или снабжены самодельными пластиковыми покрытиями стоек и полипропиленовыми занавесями-дверями по краям.

Целью является создание индивидуальной системы охлаждения для каждой стойки, так что объем необходимого охлаждающего воздуха минимизируется. Такие индивидуальные системы содержат 19-дюймовые стойки, пропускают охлаждающий воздух из поддона до верха стойки без контакта с воздухом самого информационного центра.

В определенных климатических условиях, работа при высоких температурах может позволить вариант с использованием охлаждения открытым воздухом без применения блоков CRAC. Например, если выбрана рабочая температура в информационном центре 30 ^oC), а температура внешнего воздуха ниже, чем 25^oC, дополнительное охлаждение может и не потребоваться -- при условии, что влажность воздуха находится в приемлемых пределах.

Однако, базовый подход простой закачки внешнего воздуха может приводить к неэффективности, таким как горячие точки или пыль и загрязнение в информационном центре. В этом случае может использоваться новая конструкция, например, колесо Киото (Kyoto Wheel) (см. рис. 3). Метод охлаждения Киото реализует модульное охлаждение, экономит энергию на 85% по сравнению с другими решениями.

Рис. 3. Колесо Киото (Http://en.wikipedia.org/wiki/Thermal_wheel)

В этом сценарии, гофрированное металлическое колесо примерно 3 метров в диаметре медленно вращается в пространстве между двумя секциями оборудования. Горячий воздух информационного центра, протекая из одной секции, отдает свое тепло металлическому колесу. Холодный внешний воздух протекает через другую часть, забирает тепло из металла и передает его внешнему воздуху. Охлажденный воздух из информационного центра подается назад в информационный центр для охлаждения оборудования.

Петля информационного центра замкнута, а малый объем воздуха, который переносится при вращении колеса, гарантирует то, что только малое количество частиц и влаги переносится из одной секции в другую. При этом колесо выполняет функцию фильтра.

Выигрыш здесь заключается в том, что низкоскоростные вентиляторы и моторы, которые используются в методе охлаждения Киото, не требуют специального обслуживания и сами потребляют мало энергии. При этом может использоваться солнечная энергия и батарея в качестве резервного источника. Такая система может функционировать многие годы -- ожидается, что ее время жизни составит 25 лет -- а обслуживание заключается только в удалении пыли и грязи раз в несколько месяцев.

Когда в воздухе нет прохлады, попробуйте воду

Помимо этих воздушных методов, возможно адиабатическое охлаждение, использующее охлаждающий эффект, сопряженный с испарением воды (см. рис. 4, подобная техника используется в бытовых холодильниках).

Рис. 4. Методы водяного охлаждения

Водяное охлаждение эффективно в теплом климате, где тепло окружающей среды может использоваться для испарения воды и охлаждения воздуха, пропускаемого через фильтры. Такая система содержит две камеры, с фильтрами, обеспечивающими разделение между внешним воздухом и внутренним пространством информационного центра. Однако, фильтры нужно регулярно заменять, чтобы удалять загрязнение. Кроме того, необходимо регулирование влажности воздуха, чтобы исключить конденсацию воды в электронном оборудовании.

Для компаний, которые хотят работать с высокой плотностью оборудования при высоких тепловых режимах в теплом климате, прямое водяное охлаждение может оказаться единственным решением проблемы. Соединение воды и электричества часто вызывает отторжение у руководителей вычислительных центров: для решения проблемы обычно используется отрицательное давление воды, где вода не накачивается под давлением, а высасывается, что практически исключает утечку влаги. При нарушении герметичности в систему охлаждения попадет воздух, а вода оттуда не вытечет. Для детектирования утечек используются специальные датчики, а модульная конструкция позволяет осуществлять ремонт без прерывания работы системы в целом.

Система использует вход горячей воды для охлаждающей жидкости, что может показаться странным. Но в высоко специализированных системах, вода при температуре выше чем (30^oC) может охлаждать ЦПУ до нужного уровня; выходная температура при этом может быть около (45^oC). Высоко температурная вода, подключенная к теплообменникам, может использоваться в других частях здания. Кроме того, понижая использование энергии на 40%, эта система может способствовать дополнительной экономии энергии за счет использования тепла для согревания помещений.

Для большей полноты описания жидкостного охлаждения следует упомянуть иммерсионные системы. Такие компании, как Iceotope и Green Revolution Cooling, предоставляют системы, которые обслуживают весь сервер -- или другие части ИТ-оборудования -- посредством жидкости с высокой теплопроводностью, отбирая тепло со всех компонентов оборудования. Эти системы идеальны для GPU-серверов [graphics processing unit] с сотнями ядер, или для высоких плотностей электроники, например, ЦПУ, и они могут работать с более чем 100 кВт на один объем -- который размещается внутри стойки. Некоторые иммерсионные системы работают при температуре (60^oC).

Вентиляторы не нужны в иммерсионной системе, которая сохраняет дополнительную энергию. Так как используемые жидкости для переноса тепла лучше, чем воздух или вода, оборудование может работать при более высоких температурах и позволять использование жидкости для согревания здания.

Эти системы обеспечивают методы охлаждения, базирующиеся на различных требованиях и различных окружающих условиях. Необходим мониторинг всех тепловых аспектов работы информационного центра.

Здесь становится важным управление инфраструктурой (DCIM) информационного центра. Использование тепловых датчиков и инфракрасных детекторов помогает составить карту горячих точек.

При использовании DCIM, продолжительный мониторинг гарантирует быстрое выявление точек перегрева, что позволяет замедлить работы некоторых подсистем или заменить их, если это необходимо. Во многих случаях, неожиданное появление горячей точки указывает на возможный отказ оборудования. Имея возможность детектировать такую ситуацию заранее, можно минимизировать время пребывания системы в нерабочем состоянии.

Мир информационных центров продолжает изменяться, и делает старые подходы к охлаждения пустой тратой денег.

Жидкостное иммерсионное охлаждение понижает также уровень шума и облегчает энергетические требования при охлаждении. Например, традиционная схема воздушного охлаждения сервера требует 12 вентиляторов (иногда больше). Любой ИТ-профессионал знает, насколько шумен такой сервер, когда стоит на стенде при конфигурировании. Вся стойка серверов, работающая под нагрузкой, производит шум, который делает некомфортной работу технического персонала, работающего неподалеку. Этот шум производится вентиляторами. Путем удаления всех вентиляторов из этих серверов в стойке и замещения их одним насосом для жидкости вы можете почти полностью ликвидировать шум.

Необходимая энергия для охлаждения в этом варианте также ниже. Например, вся стойка традиционных серверов с воздушным охлаждением может требовать сотен ватт для питания охлаждающих серверы вентиляторов, но системы Iceotope (герметичные конфигурации типа блейд) показывают, что 20 кВт тепла (тепло всей стойки системы) может быть удалено с использованием 80-ватного жидкостного насоса.

В последнее время для целей охлаждения начали использоваться криогенные охладители - машины Стирлинга ("Is a cryogenic cooler a viable option in the data center?", Clive Longbottom). Доли различных методов охлаждения представлены на рис. 5.

Рис. 5. Методы охлаждения

Компания Microsoft предлагает организовывать подводные информационные центры, где легко решить проблемы охлаждения оборудования за счет использования воды из глубинных слоев (см. "Microsoft launches undersea, free-cooling data center", Patrick Nelson, Network World, Jun 21, 2018). Серверная комната (Project Natick) помещается на глубине 117 футов. Размещение в море позволит таким центрам экономить средства в том числе и на аренде земли. Такой центр создается на севере Шотландии в Северном море. Не исключено, что электропитание будет получаться за счет температурных перепадов в воде.

Смотри также обзор "Liquid Cooling Guide. The Top 10 Benefits of Liquid Cooling. Park Place Technology. Нужно иметь в виду, что жидкость - это не обязательно вода. Но при температурных перепадах вода может появляться в системе из окружающего воздуха за счет конденсации. В обзоре обсуждаются плюсы и минусы жидкостного охлаждения. У нас в DESY за счет конденсата вышла из строя система питания ФЭУ электронного калориметра. Причем воды там было достаточно, чтобы помыть руки, а на делители ФЭУ подавалось напряжение около 2 кВ. Для специалистов, связанных с электроникой, вода безоговорочно вызывает определенное беспокойство.