Одно из основных направлений развития отрасли прецизионного кондиционирования — повышение энергоэффективности оборудования путем внедрения усовершенствованных элементов климатической техники. О таких решениях, как электронные ТРВ и электронно-коммутируемые вентиляторы журнал «Мир климата» уже рассказывал (см. статью «Новые методы повышения энергоэффективности систем кондиционирования центров обработки данных», опубликованную в № 64). В данном же материале речь пойдет о следующих шагах повышения энергоэффективности: переходе на высокотемпературные режимы, оптимизации воздушных потоков, а также о новых разработках в области систем прецизионного кондиционирования.
Вентиляторы
Шкафные кондиционеры линейки Liebert HPM Extended от компании Emerson Network Power спроектированы для применения, главным образом, в центрах обработки данных (ЦОД), но гибкость конструкции позволяет использовать их также и в других технологических помещениях. Данная серия представляет собой блоки с номинальной мощностью охлаждения от 34 до 200 кВт. Полный контроль окружающих условий и надежность имеют первостепенное значение для обеспечения бесперебойной работы центров обработки данных или любых других критически важных технических систем.
Кондиционеры Liebert HPM Extended выпускаются в двух исполнениях: Liebert Extended DOWN и Liebert Extended UP — с расположением вентилятора под фальшполом и над фальшполом соответственно (рис. 1)
Фактически, в данной серии вентиляторный отсек представляет собой отдельный блок, в котором использованы наиболее современные вентиляторы — с электронной коммутацией и бесколлекторными двигателями постоянного тока
Возможность выноса вентиляторного блока под фальшпол несет в себе ряд преимуществ. Во-первых, это очевидное снижение уровня шума в помещении: между источником шума (вентилятором) и персоналом в помещении появляется физическая преграда в виде фальшпола. Во-вторых, вентилятор сразу формирует поток воздуха в нужном направлении. Если при надфальшпольном расположении воздух выдувается вертикально вниз, после чего поток требуется развернуть на 90°, чтобы превратить его в горизонтальную струю вдоль пола, то при установке вентиляторной секции под фальшполом центробежные вентиляторы сразу формируют горизонтальный поток воздуха вдоль пола помещения. Наконец, в-третьих, перенос вентиляторов под фальшпол позволяет оптимизировать расположение прочих элементов кондиционера, тем самым еще более снизить аэродинамическое сопротивление блока и понизить энергопотребление вентилятора.
Как показывает непосредственное сравнение нескольких моделей кондиционеров ранней версии Liebert HPM с представителями линейки Liebert HPM Extended UP (табл. 1), при прочих равных характеристиках эффективность вентиляторов может быть как ниже, так и выше, а версия с подфальшпольным расположением вентилятора позволяет снизить энергопотребление вентилятора на величину до 30 % в зависимости от конкретной модели.
Справедливости ради стоит отметить, что шкафные прецизионные кондиционеры с секцией вентилятора, которая может быть размещена под фальшполом, присутствуют также в ассортименте компании Stulz. Более того, для линейки прецизионных кондиционеров Stulz Cyber Air 3 компания Ebm-papst, например, разработала вентилятор с пластиковыми колесом и лопастями, армированными стекловолокном. Внедрение нового технологического процесса на производстве позволило изготавливать полностью смоделированные в 3D колеса вентиляторов, которые обладают увеличенной поверхностью и низким шумом.
К идее выноса вентиляторного блока под фальшпол пришли и в компании Hiref. За счет освободившегося пространства внутри шкафного кондиционера был расширен теплообменный аппарат. При этом, несмотря на то, что производительность теплообменника будет расти, потери напора на теплообменнике значительно уменьшаться ввиду уменьшения скорости прохождения воздуха между ламелями.
Подобная оптимизация конструкции прецизионного кондиционера, по данным компании Hiref, обеспечивает уменьшение потребления вентилятором электроэнергии от 15 % в режимах при частичной загрузке и от 25 % при полной нагрузке кондиционера (данные получены при помощи программы расчета HiRef S.p.A., в обоих случаях использовались EC-вентиляторы одного производителя). Кроме того, это обеспечивает оптимальную раздачу охлажденного воздуха под фальшпол. Если нужна раздача не во все стороны, а в определенных направлениях, можно поставить заслонки — это незначительно увеличит сопротивление на выходе.
С точки зрения оптимизации воздушных потоков вспомним еще один прием, который касается внутрирядных прецизионных кондиционеров, примененный компанией Stulz. Речь идет о кондиционерах серии CyberRow, которые несколько длиннее телекоммуникационных стоек и выступают из их ряда. Благодаря этому была реализована боковая раздача охлажденного воздуха вдоль ряда стоек, что позволило улучшить воздухораспределение, сократить длину воздушного контура и подать холодный воздух непосредственно к технологическому оборудованию (рис. 2).
Высокотемпературные режимы работы
Отдельного слова заслуживают высокотемпературные режимы работы климатического оборудования. Сразу оговоримся, что данный раздел статьи относится к системам охлаждения ЦОД, построенным по архитектуре «чиллер-фэнкойл». К фреоновым решениям нижеследующие выкладки о температурном режиме прямого отношения не имеют.
Как известно, первые проекты по кондиционированию ЦОД выполнялись с использованием традиционного температурного режима холодоносителя 7/12 °C. Со временем были выявлены недостатки данного режима для объектов ЦОД.
Несколько лет назад наметился переход на температурный график холодоносителя 10/15 °C. Новый график позволяет избавиться от конденсата на теплообменнике кондиционеров ЦОД, поскольку температура его поверхности примерно равна точке росы воздуха в машинном зале. Как результат, конденсат практически не выпадает, а эффективность охлаждения существенно возрастает. Параллельно снижается нагрузка и на встроенные в кондиционеры пароувлажнители.
Однако можно с уверенностью сказать, что и температурный график 10/15 °C не достаточно «теплый» для дата-центров. Согласно требованиям к серверному оборудованию и рекомендациям по системам охлаждения в ЦОД значение температуры на входе в серверное оборудованием должно быть около 24 °C (рекомендуемый диапазон 18–27 °C). Фактически это температура воздуха на выходе из кондиционера. Чтобы ее обеспечить, температура холодоносителя должна составлять около 18 °C, что соответствует температурному графику холодоносителя 15/20 °C.
Первоначально подобный график не находил применения на практике в том числе и из-за недостатка опыта и опасений перегревов, а также из-за отсутствия соответствующего холодильного оборудования. Существовали и другие причины.
Однако на данный момент появился ряд линеек оборудования, как наружного (чиллеры), так и внутреннего (водяные кондиционеры), способного работать в подобных высокотемпературных режимах.
Стоит отметить некоторые несложные выводы из курса холодильной техники, характерные для высокотемпературных режимов охлаждения. Во-первых, эффективность подобного охлаждения заметно возрастает, поскольку снижается разность между температурами конденсации и испарения. Во-вторых, заметно возрастает холодильная мощность холодильных машин. В-третьих, снижается холодильная мощность водяных кондиционеров, также из-за снижения разности температур охлаждающего теплообменника и внутреннего воздуха. Однако применение высокотемпературных режимов следует использовать вкупе с оптимизацией воздушных потоков в ЦОД и более жестком разделении холодного и горячего потоков. При этом возрастет и температура входящего в кондиционер воздуха, в среднем, до величин порядка 30–33 °C. Учет одновременного изменения температуры холодоносителя и входящего воздуха позволяет сделать вывод, что фактически холодопроизводительность водяного кондиционера также возрастает.
Таким образом, переход на высокотемпературный режим потребует меньшего числа наружного оборудования и меньшего числа кондиционеров в машинном зале ЦОД. В таблице 2 приведены технические характеристики кондиционеров Emerson Network Power серии Liebert HPM Extended, способных работать как при температурном графике 10/15 °C, так и при графике 14/20 °C. Как видно, в среднем, мощность кондиционера повышается на 29 %.
Возможностью работы на высокотемпературных режимах оснащены и новые внутрирядные кондиционеры InRow RC компании Schneider Electric. Высокотемпературные кондиционеры InRow RC могут снимать до 60 кВт тепловой нагрузки. При этом кондиционеры располагаются в ряду стоек между ними. Система управления конденсатом удерживает температуру поверхности змеевика выше точки росы.
CFD-моделирование
С целью выявления недостатков компоновки и расчета воздушных потоков как внутри шкафных кондиционеров, так и в обслуживаемых помещениях все чаще и чаще прибегают к технологии компьютерного моделирования потоков (CFD, Computational Fluid Dynamics — вычислительная гидродинамика). При этом моделированием воздушных потоков внутри кондиционеров занимаются производители оборудования, а моделированием потоков в помещениях — инженеры-проектировщики систем кондиционирования. К слову, отметим: о том, что прецизионные кондиционеры спроектированы с использованием технологии CFD-моделирования, за последние годы заявили сразу несколько производителей.
Нас же скорее будет интересовать использование CFD-моделирования для оптимизации воздушных потоков в охлаждаемых помещениях, в частности, в машинных залах центров обработки данных.
Так, ряд проблем может появиться уже на этапе эксплуатации действующего дата центра даже с невысокими тепловыми нагрузками. Например, после установки дополнительного оборудования в ЦОД могут появиться локальные области перегрева оборудования, а высокая температура серверов, как известно, приводит к сбоям, отказу и выходу из строя электроники. CFD-моделирование с указанием технических характеристик кондиционеров, мощности серверного оборудования и геометрических характеристик помещения помогает избежать подобных проблем путем перенастройки кондиционеров и/или перераспределения серверного оборудования. Также решением проблемы может быть и перераспределение плит фальшпола или их замена на решетки с другими пропускными характеристиками. Но достоверно узнать об этом можно только с помощью компьютерного моделирования.
Кстати, CFD-моделирование в ЦОД рекомендовано и на уровне стандартов, пусть и зарубежных. В частности, в 2010 году в США было опубликовано руководство BISCI «Bisci 002–2010 Data Center Design and Implementation Best Practices». В статье 5.5.1.1.1 данного руководства приводится следующая рекомендация для проектирования системы кондиционирования: «Рекомендуется создание компьютерной модели и проведение компьютерных расчетов, чтобы убедиться в правильности размещения плит фальшпола и соответствии проекта системы охлаждения проектным требованиям».
Безусловно, качество и точность результатов компьютерного моделирования зависит от полноты и правильности введенных исходных данных, коих требуется достаточно много. Для примера приведем некоторые из них:
- габариты и объем помещения;
- расстановка ИТ-стоек в машинном зале ЦОД;
- высота фальшпола;
- учет препятствий на пути потоков холодного воздуха;
- тип используемых плиток фальшпола и геометрия выходных отверстий;
- направление, объем и скорость движения потоков холодного воздуха;
- расположение оборудования системы кондиционирования;
- типы используемых вентиляторов и направление подачи воздушного потока.
Оптимизация систем охлаждения методами DCIM
Заметного повышения энергоэффективности систем охлаждения можно добиться за счет внедрения DCIM-решений. Напомним, что DCIM расшифровывается как Data Center Infrastructure Management, т. е. система управления инфраструктурой ЦОД.
В частности, компания Schneider Electric предлагает программную платформу StruxureWare, состоящую из модуля активного мониторинга NetBotz и централизованной системы мониторинга Data Center Expert.
Работая в автоматическом режиме, обновленная версия StruxureWare сможет устранить до 95 % «горячих точек» внутри машинных залов дата-центров. При этом система будет при необходимости уведомлять операторов ЦОД о нетипичных ситуациях, чтобы те лично приняли участие в разрешении подобных проблемных моментов. Система также предусматривает механизмы аварийной сигнализации и будет характеризоваться повышенной отказоустойчивостью.
С точки зрения энергоэффективности новые алгоритмы работы, по словам производителей, позволят в среднем на 40 % снизить затраты на электроэнергию, потребляемую системами охлаждения ЦОД. При этом будет гарантировано поддержание требуемого уровня температуры и влажности при одновременной минимизации использования электроэнергии. Речь идет о настройке нескольких кондиционеров на работу в различных режимах, ориентируясь не на эффективной работе каждого конкретного блока, а системы из нескольких единиц оборудования в целом.
Фрикулинг и жидкостное охлаждение ЦОД
Все чаще появляются новости о проектировании и успешном внедрении технологий свободного охлаждения за счет окружающей среды и технологий жидкостного охлаждения ИТ-оборудования ЦОД.
Так, в 2015 году стало известно, что продукция Iceotope была использована при создании новейшего суперкомпьютера с иммерсионным охлаждением. Проект выполнялся под эгидой Rolls-Royce и предназначен для реализации ряда перспективных научно-исследовательских работ. Интересно отметить, что конструкция суперкомпьютера не предусматривает использование вентиляторов.
Жидкостное охлаждение позволяет значительно повысить плотность размещения ИТ-оборудования. В частности, в отрасли суперкомпьютеров проект ExaNeSt предусматривает разработку и внедрение эксафлопсных технологий.
Система охлаждения KyotoCooling получает всё большее распространение в сфере ЦОД за счет высокой эффективности (коэффициент использования электроэнергии PUE может быть снижен до 1.1). Уже сегодня технология успешно работает в ЦОД компаний Hewlett-Packard, United Airlines, Cloudsite и др.
Американская компания eBay — мировой гигант в области электронной торговли — использовала иную технологию жидкостного охлаждения ИТ-оборудования в своем дата-центре в Аризоне (США). Архитектура получила название RDHx (Rear-Door Heat eXchanger — теплообменник на задней дверце стойки) и подразумевает под собой низкопрофильные теплообменники, которые встраиваются в дверцу на монтажной стороне серверной стойки и позволяют быстро понизить температуру высокоплотных вычислительных систем. При этом глубина ИТ-стоек увеличивается всего на 10—15см.
Как отмечается, элементы RDHx могут быть установлены как на новых ИТ-стойках, так и на уже эксплуатируемых. При этом использовать модули RDHx можно как в связке с фальшполом, так и без него.
Технологии жидкостного охлаждения особенно активно развиваются в США и уже взяты на вооружение в дата-центрах государственного значения. Кроме того, в рамках программы Wells Fargo’s 2020 Environmental Commitment, ориентированной на улучшение экологии, фондом Wells Fargo в сотрудничестве с Национальной лабораторией возобновляемых источников энергии (NREL) выделено $11 млн на 5 лет на исследование технологии жидкостного охлаждения для ЦОД.
Заключение
Итак, после того как прецизионное оборудование всех производителей обзавелось современными комплектующими, такими как электронно-коммутируемые вентиляторы, электронные термо-регулирующие вентили и регулируемые компрессора, битва энергосберегающих технологий в области систем охлаждения ЦОД сместилась в сторону оптимизации воздушных потоков и повышения температурных режимов.
При этом на рынке появляется и позволяющее реализовать соответствующие методы энергосбережения новое оборудование: модели кондиционеров с выносной вентиляторной секцией, кондиционеры с требуемым направлением потока охлажденного воздуха и высокотемпературные чиллеры. На помощь приходит и CFD-моделирование. А для наиболее высокоплотных и мощных решений предлагаются и активно продвигаются технологии жидкостного охлаждения вычислительного оборудования.