Как показывает практика, весьма важную задачу представляет собой не только построение эффективной системы охлаждения нового центра обработки данных (ЦОД), но и модернизация, оптимизация и повышение эффективности работы кондиционирования в действующем дата-центре. В данной статье будут рассмотрены конкретные решения по модернизации систем кондиционирования существующих ЦОД и серверных.
Один ряд стоек в небольшой серверной
В рассматриваемом помещении установлен один ряд стоек. Фальшпол отсутствует. Изначально охлаждение реализовано с помощью пяти обычных настенных сплит-систем, четыре из которых работали одновременно, а пятая считалась резервной.
Со временем в серверной столкнулись с нехваткой холода в часы пиковых нагрузок. Кроме того, в связи с модернизацией вычислительного (серверного) оборудования плотность теплоизбытков увеличилась, а в стойках освободилось дополнительное свободное место. Это означает, что мощность серверной может еще более возрасти, для чего планируется закупить дополнительные силовые модули ИБП. Они также выделяют тепло. Таким образом, система кондиционирования требует значительной модернизации.
Рис. 1. Использование канальных кондиционеров в серверных
В данном случае видятся два пути решения проблемы: при отсутствии свободных площадей использовать более мощное канальное климатическое оборудование, а при наличии площадей перейти на прецизионные кондиционеры.
Схема системы, получаемой в первом случае, представлена на рис. 1. При ее реализации следует обратить внимание на размещение кондиционеров.
Как правило, при выборе кондиционеров во внимание принимается только значение тепловыделений от IT-оборудования. Внутренние блоки при этом вешаются в горячем или в холодном коридорах или сразу в обоих. В данном случае владелец уверен, что при работе кондиционеров добьется эффекта «средней температуры по больнице» и все будет отлично работать. Однако в большинстве случаев после запуска серверной в эксплуатацию ситуация развивается совсем иначе, и IT-оборудование начинает перегреваться, хотя холодопроизводительности установленных кондиционеров вполне хватает.
Проблема в данном случае кроется в неправильной организации движения воздушных потоков и в тесноте помещения, а именно: кондиционеры, внутренние блоки которых установлены в горячем коридоре, перемешивают воздух только в пределах горячего коридора, и лишь незначительная часть охлажденного воздуха попадает на вход IT-оборудования.
Для правильной организации воздухообмена необходимо расположить канальные блоки над рядом стоек и организовать забор и поступление воздуха так, чтобы забирать воздух именно из горячего коридора, а подавать в холодный коридор.
Теперь рассмотрим вариант, когда габариты помещения позволяют установить прецизионные кондиционеры и владелец серверной осознает, что лучше использовать высоконадежное специализированное кондиционерное оборудование.
Применение внутрирядных прецизионных кондиционеров отпадает по причине их высокой стоимости и большой единичной холодопроизводительности. Выбор однозначно делается в пользу прецизионных кондиционеров шкафного типа, и, учитывая отсутствие фальшпола, это будет исполнение с забором воздуха с передней панели и раздачей вверх.
Итак, тип кондиционеров определен. Остается их установить в помещение и запустить, но не тут-то было. Владельцы будущих серверных, руководствуясь тем, что прецизионные кондиционеры обладают гораздо большей кратностью циркуляции воздуха и большим свободным напором вентиляторов по сравнению с бытовыми кондиционерами типа «сплит», также полагают, что получат нормальную среднюю температуру в общем объеме помещения, где бы ни были установлены кондиционеры. Однако, запуская в работу IT-оборудование, отмечают, что часть его перегревается.
Здесь можно выделить три наиболее часто встречающиеся ошибки:
- Если установить кондиционер в зоне холодного коридора, то он не будет нагружен теплом, так как охлажденный воздух раздается вверх, затем, как по законам физики, так и в результате разряжения, создаваемого вентиляторами стоечного оборудования, опускается вниз в холодный коридор и попадает на вход как в IT-оборудование, так и в воздухозаборную решетку кондиционера, которая расположена на его передней панели на высоте 1–1,2 м от уровня пола. В результате кондиционер замыкается сам на себя: охлажденный им воздух попадает на вход, и кондиционер выключается, так как датчик температуры фиксирует достижение заданного значения. Тем временем со стороны горячего коридора создается зона перегрева.
- Если установить кондиционер в зоне горячего коридора, то на его воздухозаборную решетку будет дуть как раз воздух, нагретый IT-оборудованием. Но, учитывая, что раздача охлажденного воздуха идет вверх, то лишь его незначительная часть достигнет стоечного оборудования, расположенного в верхней зоне стоек, а IT-оборудование, расположенное посередине и внизу стоек, будет перегреваться. Не спасет в данном случае и конфигурация кондиционера с пленумом для раздачи воздуха вперед.
- Если установить кондиционер перпендикулярно ряду со стойками, то также будут зоны локального перегрева все по тем же причинам. В данном случае IT-оборудование, расположенное в дальних от кондиционера стойках, будет перегреваться.
Правильным решением будет следующая конфигурация системы кондиционирования: прецизионные кондиционеры шкафного типа с раздачей воздуха вверх нужно размещать в горячем коридоре, чтобы на их вход попадал именно нагретый IT-оборудованием воздух. Далее необходимо смонтировать воздуховоды так, чтобы охлажденный воздух перебрасывался через стойки и раздавался нисходящим потоком вдоль воздухозаборных решеток стоек. Данная схема приведена на рис. 2.
Рис. 2. Установка шкафного кондиционера в серверной
Модернизация систем охлаждения средних и крупных ЦОД
Модернизация систем кондиционирования средних и крупных центров обработки данных, как правило, сводится к замене кондиционеров на более новое и энергоэффективное оборудование. При этом следует помнить о ряде важных факторов, учет которых позволит значительно повысить эффективность системы охлаждения при меньших затратах.
Использование современных технологий
Рис. 3. Оптимизация холодильного цикла за счет применения электронного ТРВ
При смене климатического оборудования ЦОД следует выбирать наиболее эффективное новое оборудование, оснащенное современными комплектующими, такими как электронный терморегулирующий вентиль (ТРВ), электронно-коммутируемые вентиляторы, турбокомпрессоры, микроканальные теплообменники.
Так, электроника контроллера электронного ТРВ (внешний вид электронных ТРВ показан на рис. 4) работает гораздо быстрее и точнее механической системы традиционного ТРВ, а потому позволяет более точно поддерживать величину перегрева хладагента на выходе из испарителя, и, следовательно, нет необходимости его завышать. В то время как в обычных кондиционерах перегрев может достигать 15 °C, в кондиционерах с электронным ТРВ он составляет всего 5 °C. Снижение величины перегрева приводит к росту холодильного коэффициента установки (рис. 3).
Рис. 4. Электронные терморегулирующие вентили Danfoss
Управление приводом осуществляется контроллером, встроенным в кондиционер. На основе измерений температуры и давления, поступающих в контроллер от соответствующих датчиков, генерируется сигнал, подаваемый на электропривод ТРВ. Кроме того, электронный ТРВ, как и любое другое электронное устройство, может быть оснащен системой мониторинга, а его рабочие характеристики выведены на экран диспетчера. Как результат применение электронного ТРВ оптимизирует холодильный цикл кондиционера, в некоторых ситуациях увеличивая холодильный коэффициент до 20%.
Определенные преимущества несет в себе и использование электронно-коммутируемых вентиляторов (EC-вентиляторов), которые построены по бесщеточной технологии. Магнитное поле образуется благодаря присутствию постоянного магнита, а коммутация осуществляется за счет транзистора. Тем самым достигаются электронная коммутация и отсутствие механических коммутируемых элементов.
Рис. 5. Характеристики вентиляторов с разными приводами при различных расходах воздуха
Электронная коммутация в отличие от механической позволяет отказаться от движущихся частей и, соответственно, решить проблему их износа. Все это объясняет более высокую эффективность EC-вентиляторов в сравнении с вентиляторами с другими типами двигателей. А, по данным компании Systemair, при регулировании производительности вентиляторов ни один метод регулирования (рис. 5), будь то трансформатор или даже преобразователь частоты, не может соперничать с результатами EC-вентиляторов.
Помимо этого, EC-вентиляторы способны изменять производительность в широком диапазоне. Это особенно важно в процессе наращивания мощности ЦОД.
Управление производительностью вентилятора осуществляется через сигнал 0–10 В от кондиционера. Отсюда же следует возможность плавного выхода на режим, без пусковых токов.
В конечном итоге, по данным компании Uniflair, применение кондиционеров с ЕС-вентиляторами позволяет сэкономить до 63% потребляемой вентиляторами мощности.
Расстояние от стоек до кондиционера
Казалось бы, для снижения длины воздушного потока расстояние между кондиционером и ближайшей стойкой или, если быть более точным, между кондиционером и ближайшей напольной решеткой следует свести к минимуму, однако это далеко не так. Дело в том, что нагнетаемый кондиционером воздух будет «забиваться» в дальние углы — там его статическое давление окажется максимальным, и чем ближе к кондиционеру, тем статическое давление будет ниже и тем выше динамическое.
Это известная для вентиляционщиков ситуация, когда часть приточной решетки, ближняя по ходу воздуха, не раздает, а засасывает воздух. Решением здесь является выполнение хотя бы полуметрового отвода и адаптера. Для фальшпола в ЦОД ситуация аналогичная — в решетку непосредственно вблизи кондиционера воздух будет засасываться, а первым стойкам грозит перегрев. Поэтому рекомендуется удалять кондиционер от ряда на 1,5 м, лучше на 2 м. Как вариант — на три плитки фальшпола (то есть на 1,8 м), тем самым обеспечив и пожарный проход.
Расположение напольных решеток
Рис. 6. Внешний вид электронно-коммутируемого вентилятора
Расположение напольных решеток — надо сказать, больной вопрос для дата-центров. Кому-то из специалистов по обслуживанию ЦОД становится жарко в какой-либо точке ЦОД, и он решает перенести напольную решетку ближе к этому месту. Другие «умники» решают выравнять температуру между коридорами и распределяют решетки равномерно по холодным и горячим коридорам. Где-то правило холодных и горячих коридоров вообще не соблюдается, а, замучившись перераспределять решетки на полу, персонал просто снимает часть плиток, оставляя ямы и при обходе просто перепрыгивая с одной плитки на другую.
Именно поэтому модернизация системы охлаждения — лучший повод навести порядок как в подфальшпольном пространстве машинного зала, так и с раскладкой плиток и решеток по сетке фальшпола.
Еще раз обратим внимание на то, что, несмотря на повышенную температуру, в горячем коридоре не должно быть установлено ни единой напольной решетки. Решетки должны устанавливаться только в холодных коридорах. При этом под решеткой должно быть свободное место: ее не должны закрывать кабельные лотки, трубопроводы и иные коммуникации.
Смена температурного графика теплоносителя
Это, пожалуй, наиболее сложное мероприятие при частичной модернизации системы охлаждения ЦОД, поскольку затрагивает и требует пересчета как внутреннего, так и наружного оборудования. Кроме того, этот метод применим только для систем охлаждения, построенных по схеме «чиллер — фэнкойл».
Отметим, что неверно заданная температура циркулирующего в контуре теплоносителя может привести к недостаточному теплосъему, резкому осушению воздуха, повышенному энергопотреблению системы и другим негативным явлениям. Для ЦОД, характеризующихся высокой удельной тепловой нагрузкой, большую роль играет сохранение влажности внутреннего воздуха, поскольку энергозатраты на увлажнение воздуха посредством встроенных в кондиционеры пароувлажнителей чрезвычайно велики. Поэтому длительность их работы желательно свести к минимуму.
Как известно, причиной появления конденсата является то, что температура поверхности теплообменника, охлаждающего воздух, оказывается ниже точки росы. Следовательно, для избегания конденсата необходимо повысить температуру теплоносителя.
Учитывая, что для наиболее популярных параметров микроклимата в ЦОД (24 °C/50%) точка росы составляет 12,7 °C, то средняя температура поверхности теплообменника должна быть около этой величины. Именно поэтому в проектах для ЦОД вместо традиционного температурного графика 7/12 °C гораздо выгоднее использовать график 10/15 °C, для которого коэффициент SHR (коэффициент эффективности теплообмена, равен отношению явной холодопроизводительности к полной) составляет 0,98–1.
Однако следует помнить, что при переходе с температурного графика 7/12 °C на график 10/15 °C снижается холодильная мощность водяных шкафных кондиционеров, но возрастает мощность чиллеров.
В целом же реальные расчеты перехода с температурного графика 7/12 °C на график 10/15 °C для ЦОД мощностью 900 кВт показали, что энергозатраты на систему кондиционирования в процессе эксплуатации снизятся с 510 до 427 кВт, то есть на 16%. В общем случае в зависимости от ситуации можно ожидать выигрыша в энергозатратах в размере 10–20%.
Контейнеризация коридоров в ЦОД
Рис. 7. Внешний вид решения по изоляции коридоров в ЦОД
Казалось бы, для снижения длины воздушного потока расстояние между кондиционером и ближайшей стойкой или, если быть более точным, между кондицион Еще один вопрос, над которым в обязательном порядке следует задуматься при модернизации системы кондиционирования действующего дата-центра, — контейнеризация (изоляция) холодных или горячих коридоров ЦОД. Внешний вид решения представлен на рис. 7.
Контейнеризация горячих и холодных коридоров осуществляется для уменьшения смешивания холодного и горячего воздуха. Это большой шаг вперед, позволяющий более эффективно направлять воздух к источникам тепловой нагрузки и от них и обеспечивать охлаждение более мощного оборудования.
Сразу отметим, что, как показывает опыт, изоляция одновременно и холодных, и горячих коридоров не дает значительных преимуществ и желаемого экономического эффекта по сравнению с решением изоляции только одного типа коридоров. Главный недостаток контейнеризации горячего коридора — рабочая среда в горячем коридоре, температура которой может достигать 35 градусов. Работать в таких условиях в течение долгого времени некомфортно. Однако возможность достижения более высокой температуры отработанного воздуха повышает эффективность. Кондиционеры генерируют бóльшую охлаждающую мощность при работе с более горячим воздухом.
Только при полной контейнеризации горячий воздух возвращается к кондиционерам с максимальной температурой. Это может быть организовано с помощью системы воздушных каналов. Однако чаще используется надпотолочное пространство. При этом есть несколько предостережений и практических рекомендаций:
- надпотолочное пространство должно быть чистым;
- потолочная плитка должна хорошо держаться, не сноситься воздушными потоками и не отслаиваться;
- для прохода воздуха через потолок горячего коридора требуется установка большого количества широких вентиляционных решеток.
Если же говорить об изоляции холодного коридора, одно из основных преимуществ данной технологии заключается в том, что независимо от подпольного или надпотолочного расположения системы охлаждения коридор заполняется только холодным воздухом. Это обеспечивает подачу максимального объема холодного воздуха к оборудованию и минимизирует разницу температуры между верхними и нижними частями серверных шкафов. Таким образом, ликвидируется распространенная в дата-центрах проблема перегрева ИТ-оборудования, расположенного в самой нижней или самой верхней частях стоек.
При этом необязательно охлаждать воздух до 13 градусов, как это традиционно делалось ранее. Верхний предел, устанавливаемый ASHRAE, составляет 27 градусов, поэтому можно задать температуру в районе 24 °C и не беспокоиться за безопасность оборудования. Это снизит энергопотребление кондиционеров при той же генерируемой холодильной мощности.
Что касается непосредственно реализации контейнеризации, то на сегодняшний день на рынке представлена масса подобных решений, причем как для вновь устанавливаемых, так и для уже существующих рядов стоек; как для стоек одного производителя и одного типоразмера, так и для разнородных стоек.
Наиболее простой способ контейнеризации коридоров, пригодный для рядов с разнородными стойками, — использование специальных изолирующих ламелей (гибких пластин), которые могут быть прикреплены к потолку и подогнаны по высоте под фактические контуры стоек.
Согласно опытным данным, изоляция коридоров позволяет повысить мощность стоек до 10–15 кВт. Кроме того, это позволяет сделать систему охлаждения более эффективной в среднем на 15–30%.
Общие рекомендации
Разобрав вопросы модернизации систем кондиционирования малых и крупных ЦОД, хотелось остановиться еще на нескольких общих немаловажных фактах, а именно:
- в обязательном порядке следует предусматривать резервирование систем кондиционирования, так как, какое бы надежное оборудование вы ни использовали, техника может ломаться, и, соответственно, перегрев IT-оборудования неизбежен;
- при пропадании электропитания на системе кондиционирования в условиях, когда ИТ-оборудование будет продолжать работать от ИБП, в серверной моментально начнет расти температура воздуха, и как итог серверная остановится по причине перегрева.
В связи с этим помните, что при остановке системы кондиционирования серверная долго не проработает. Если нет возможности запитать кондиционеры от ИБП, то рассмотрите возможность запитать рабочие и резервные кондиционеры от разных вводов электропитания. Если же и это невозможно, задумайтесь о системе аварийной вентиляции серверной, запитанной от ИБП, так как вентиляторы потребляют гораздо меньше электроэнергии, нежели компрессоры кондиционеров; - обязательно устраняйте перетоки воздуха из горячего коридора в холодный через свободные места в стойках, закрывая их заглушками. Данные перетоки сильно понижают эффективность системы кондиционирования и могут вызвать зоны локального перегрева. Если штатные заглушки, выпускаемые производителями стоек, представляются дорогим решением, вместо них можно использовать листы из оргстекла или поликарбоната.
Подводя итоги
Итак, в рамках данной статьи мы разобрали особенности модернизации систем кондиционирования как небольших серверных, так и средних, и крупных машинных залов ЦОД, предложив конкретные меры и акцентировав внимание на наиболее важных современных технологиях, которые следовало бы учесть в процессе выбора оборудования и при разработке нового проекта систем кондиционирования. Среди таких технологий электронные терморегулирующие вентили и электронно-коммутируемые вентиляторы.
Что касается концепции всей системы охлаждения, то следует обращать внимание на раскладку плиток и решеток фальшпола, как взаимное, так и относительно расположения кондиционеров. Кроме того, если вы планируете в дальнейшем модернизировать дата-центр, следует задуматься о внедрении таких решений, как контейнеризация холодных или горячих коридоров и повышение температурного графика теплоносителя. Оба решения направлены на повышение энергоэффективности системы охлаждения ЦОД, а также позволяют увеличить мощность каждой из стоек.
Юрий Хомутский,
технический редактор журнала «МИР КЛИМАТА»
В статье использованы материалы из журнала Tier, № 5 за 2013 год, а также материалы из технической документации компаний Systemair, Emerson и Uniflair.
