Нюансы применения свободного охлаждения в ЦОД

0
820

Технологии свободного охлаждения в центрах обработки данных применяются уже более 10 лет, и за это время накопился обширный опыт их проектирования и эксплуатации. Опираясь на него, можно избежать многих ошибок в действующих проектах. Однако далеко не всегда с этим опытом можно познакомиться в открытых источниках. Часто о нем можно узнать только при личной беседе или во время экскурсии на объект. В данной статье рассмотрены самые разные особенности и нюансы применения систем охлаждения в ЦОД.

Трехэтажные дата-центры

Внедрение технологий свободного охлаждения внесло ряд корректив в архитектуру центров обработки данных. Причиной изменений стали большие габариты вентиляторов, воздушных фильтров, воздуховодов и других элементов систем фрикулинга. Попытки вписать их в те или иные здания постепенно привели к формированию трехэтажной структуры крупных дата-центров.

Суть ее заключается в разведении энергетического блока, серверного блока и блока охлаждения по разным этажам — соответственно первому, второму и третьему или первому, второму и кровле. Таким образом, сегодня системам свободного охлаждения в ЦОД традиционно отводится этаж над машинными залами.

Одна из простейших и очевидных схем размещения оборудования представлена на рисунке 1. Установки свободного охлаждения и воздуховоды внутреннего воздушного контура размещаются на кровле вдоль рядов ИТ-стоек в машинных залах этажом ниже. По торцам машинных залов выполняются вертикальные шахты для воздуховодов. С одной стороны — для охлажденного приточного воздуха, с другой — для нагретого.

В масштабах здания возникает огромное циркуляционное кольцо. Внутренний воздух охлаждается за счет наружного и по воздуховоду движется к шахте, затем — вниз по шахте и подается в подфальшпольное пространство машинного зала. Через напольные перфорированные плитки воздух поднимается, попадает на вход в серверные стойки и охлаждает оборудование внутри них. Нагретый воздух выходит с тыльной стороны серверных стоек, поднимается в пространство фальшпотолка, движется к шахте, по которой поднимается на уровень кровли, и поступает на вход в установку свободного охлаждения.

Дальше дело за правильной геометрией машинного зала и расчетным перепадом температур.

Геометрия машинного зала

При устройстве фрикулинга в ЦОД большое значение имеют правильная геометрия машинного зала и маршрут движения воздуха внутри него. Так как расход воздуха во внутреннем контуре велик, то путь воздуха должен быть однонаправленным — любые встречные потоки способны сильно понизить эффективность системы в целом.

Движение воздуха подчиняется силам гравитации: теплый воздух стремится наверх, холодный — вниз. Следовательно, подача холодного воздуха должна осуществляться под фальшполом, отвод горячего воздуха — за фальшпотолком.

Отсутствие фальшпотолка и отвод горячего воздуха из объема помещения машинного зала ЦОД, конечно, допустимы, но создают те самые неоднозначности в схеме движения воздуха, которые снижают эффективность работы системы. Более того, желательно применить герметизацию горячих коридоров. Это позволит еще точнее структурировать потоки воздуха, избежать перетечек воздуха между холодным и горячим потоками и, как следствие, повысить эффективность системы охлаждения.

Проходные сечения каждого участка воздушного контура должны быть достаточными для прохождения расчетного объема воздуха. Здесь, безусловно, фрикулинг имеет некоторые преимущества перед шкафными кондиционерами. В кондиционеры встроен штатный вентилятор, как правило, низконапорный. Малый напор вентилятора требует организации воздушной трассы с малым аэродинамическим сопротивлением, то есть с большим проходным сечением.

В случае фрикулинга есть возможность выбрать более мощный вентилятор и уменьшить проходное сечение некоторых воздуховодов или высоту фальшпола и фальшпотолка. Скорость воздуха в воздуховодах может достигать 8 метров в секунду, в пространстве фальшпола желательно не более 3 метров в секунду.

Расчетный перепад температур

Расход воздуха в системе фрикулинга зависит не только от мощности ЦОД, но и от расчетного перепада температур. Данный перепад задается на этапе проектирования. Для снижения габаритов системы и ее удешевления перепад температур принимается максимально возможным. Однако он не может быть принят произвольно и зависит от характеристик применяемого серверного оборудования.

Так, в корпоративных ЦОД с хорошо прогнозируемым парком ИТ-оборудования расчетный перепад температур может быть принят, исходя из требований производителя этого оборудования. Более того, ИТ-оборудование может быть изначально подобрано под конкретный, например достаточно большой, перепад температур (более 15, но, как правило, не более 20 градусов).

Сложнее обстоят дела в коммерческих дата-центрах, где заранее неизвестно, какое оборудование установит тот или иной арендатор. В этом случае приходится ориентироваться на средние значения, характерные для классических систем охлаждения. Обычно это 8—12°C.

Так как расход воздуха и габариты системы связаны с расчетным перепадом температур обратно пропорциональной зависимостью, то получаем, что одни и те же теплоизбытки в ЦОД могут быть сняты системами свободного охлаждения, расход воздуха в которых отличается в 2 раза и более. Разница лишь в том, что в одном случае расчетный перепад температур вынужденно принят на уровне 8°C, а в другом случае повышен до 20°C.

О важности водоподготовки

При проектировании систем свободного охлаждения с адиабатическим увлажнением потока наружного воздуха по ряду причин во главе угла стоит узел водоподготовки — фильтрации воды и ее очистки от солей.

Подача воды низкого качества способна сильно изменить реальные условия работы фрикулинга. Соли оседают в трубопроводах, снижая проходное сечение и повышая гидравлическое сопротивление сети. Как следствие, насос выдает меньший расход или, при том же расходе, снижается давление воды на форсунках, то есть снижается степень распыления воды в поток воздуха. Так или иначе, существенно снижается эффективность увлажнения.

Дело в том, что эффективность увлажнения через распыление воды зависит от размеров частиц, с которыми контактирует воздух. Мелкие частицы воды легко испаряются в потоке, эффективность увлажнения высока. Крупные частицы испаряются гораздо тяжелее. Зачастую они не успевают испариться в секции увлажнения и оседают на каплеуловителе. Таким образом, из-за недостаточного давления на входе в форсунку получаются более крупные капли и воздух поглощает меньше влаги, чем мог бы. Как следствие, эффективность системы свободного охлаждения снижается.

Далее, в секциях увлажнения со смачиваемым материалом (так называемые кассетные увлажнители, рис. 2) соли оседают не только в трубопроводах, но и на этом материале. Для эффективного увлажнения в кассетах создается максимально возможная площадь смачиваемой поверхности. Как результат — кассеты имеют мелкоячеистую структуру. Оседая в ячейках, соли существенно снижают проходную способность ячеек. Увлажняющая кассета засоряется примесями, содержащимися в воде, и перестает функционировать.

Очевидно, что засорение кассеты ведет к увеличению аэродинамического сопротивления секции увлажнения и снижению расхода воздуха в наружном контуре системы фрикулинга, его эффективность при этом ­опять-таки падает.

Менее очевидно, что засоренные кассеты представляют собой почти глухую стенку, на которую постоянно давит поток воздуха. Причем поток воздуха существенный — его расход в системах свободного охлаждения измеряется десятками тысяч кубометров в час. Со временем поток воздуха деформирует кассеты, выдавливая их в направлении своего движения и в отдельных случаях срывая с крепежа. Повторное использование таких кассет, вероятнее всего, будет невозможно.

Вывод один — узел водоподготовки в системах фрикулинга с адиабатикой следует предусматривать в обязательном порядке.

Кстати, в системах адиабатного увлажнения не рекомендуется организовывать циркуляцию воды, то есть подмешивать в поток воды, подаваемой на форсунки, воду, собранную каплеуловителем. Осевшая в поддоне вода характеризуется повышенным содержанием солей и загрязненностью. Повторное ее применение повлечет за собой ускоренный выход форсунок из строя и еще более интенсивное загрязнение кассетного увлажнителя. Для воды, собранной в поддоне секции увлажнения, должна быть предусмотрена система дренажа.

Проблемы с обслуживанием кассетных увлажнителей

Первая и, пожалуй, наименее значимая проблема с увлажняющими кассетами заключается в том, что они постоянно влажные. Влажная среда способствует распространению микробов и бактерий, образованию плесени и ржавчины. При отключении установки данные процессы усугубляются, так как спасительного потока воздуха, который уносит влагу, нет. Одним из решений может быть, например, заблаговременное отключение подачи воды до отключения всей установки. Это нужно, чтобы увлажняющие кассеты успевали высохнуть.

Материал, из которого выполнены кассеты, сделан на основе целлюлозы и отличается высокой хрупкостью, корпус выдерживает вес самой кассеты, но может не выдержать веса накопленной воды и грязи (солей). Все это затрудняет съем, замену и транспортировку мокрых и засоренных кассет.

Следующая потенциальная проблема — закупка аналогичной кассеты. Как показывает опыт, чистка засоренных кассет неэффективна: соли въедаются вглубь материала и не отпадают даже после химической чистки. При этом за время эксплуатации фрикулинга модельный ряд кассет производителя может поменяться, и нужного типоразмера не будет в наличии. Здесь, безусловно, могут выручить сторонние мастерские, имеющие нужный материал и оборудование для его обрамления в корпус. Однако это дополнительные трудности и проблемы с гарантией.

Особенности работы фреоновых доводчиков

Любая система свободного охлаждения имеет определенные границы наружных температур, при которых она обеспечивает заданные условия в ЦОД. За рамками этих границ возникают проблемы. Чаще всего они возникают летом, когда температура или влажность наружного воздуха слишком высоки и температура внутреннего воздуха также стремится превысить верхнее допустимое значение.

На помощь приходят фреоновые доводчики — охладители испарительного типа, понижающие температуру наружного воздуха до оптимальных значений. Они устанавливаются после секции адиабатного увлажнения, то есть работают с уже увлажненным воздухом. Именно здесь и кроется особенность их расчета.

Как известно, холодильная мощность любого кондиционера делится на явную и скрытую. Явная идет на явное снижение температуры воздуха, а скрытая — на вынужденное осушение этого воздуха ввиду того, что на холодной поверхности испарителя выпадает конденсат. И чем более влажный воздух поступает на вход испарителя, тем выше доля скрытой холодопроизводительности.

После секции адиабатного увлажнения воздух имеет влажность в районе 94–96%, и доля скрытой холодопроизводительности будет относительно велика. Этот фактор следует учитывать при расчете фреонового охладителя.

В ходе наладки могут возникнуть проблемы с остановом фреонового контура по низкому давлению из-за того, что на испаритель подается уже охлажденный воздух. Решение возможно только при наличии доступа к сервисным настройкам контроллера — они должны быть адаптированы под потребности системы.

Как бы то ни было, с точки зрения потребляемой мощности даже при самых неблагоприятных погодных условиях схема «адиабатный увлажнитель + фреоновый охладитель» на 20–40% эффективнее фреонового охладителя в чистом виде. При благоприятных же условиях экономия от применения фрикулинга составляет 80–90%.

Кроме того, может быть внедрен следующий способ оптимизации работы фреонового охладителя. В системах косвенного фрикулинга с адиабатикой часть воды можно направить на адиабатическое увлажнение воздуха, поступающего на вход в наружный блок фреонового охладителя. Это позволит понизить температуру воздуха, обдувающего конденсатор, и, как следствие, температуру конденсации, что, в свою очередь, ведет к повышению холодильного коэффициента фреоновой системы.

Современные технологии во фрикулинге

Основными элементами фрикулинга являются вентиляторы, секции увлажнения, теплообменные аппараты и алгоритмы автоматизации — именно здесь скрыт основной потенциал энергосбережения режима свободного охлаждения. Об автоматизации будет сказано ниже, а пока остановимся на вентиляторах и адиабатных увлажнителях.

Безусловно, установки свободного увлажнения должны оснащаться электронно-­коммутируемыми вентиляторами с возможностью плавного регулирования производительности. Подбор вентиляторов осуществляется, исходя из расхода и напора воздуха, причем следует провести несколько расчетов для различных условий внешней среды. Чаще всего это зимний режим, летний режим без задействования адиабатики, летний режим с задействованной адиабатикой, летний режим с задействованной адиабатикой и фреоновым доводчиком и аварийный режим. Суть аварийного режима заключается в прокачивании наружного воздуха через машинный зал ЦОД в случае экстренного повышения температуры в помещении.

Современные технологии, применяемые в области адиабатного увлажнения, позволяют повысить эффективность распыления воды и снизить вероятность уноса капель в канал. Это достигается двумя методами — применением форсунок, создающих водяной туман, и установкой каплеуловителя со смачиваемой поверхностью, позволяющей доиспарить остатки влаги в поток воздуха.

Теплообменные аппараты в косвенном фрикулинге применяются для передачи тепла от внутреннего потока воздуха наружному. Наибольшее распространение получили перекрестно-­точные и роторные теплообменники. Выбор конкретного вида зависит от архитектуры здания, так как габариты агрегатов обоих типов велики: диаметр ротора может достигать и превышать 6 метров (рис. 3).

Очистка воздуха при прямом фрикулинге

Краеугольный камень прямого фрикулинга — очистка воздуха, подаваемого в ЦОД. Впрочем, вопрос очистки актуален, хоть и в меньшей степени, для косвенного фрикулинга, иначе теплообменники, клапаны и вентиляторы быстро засорятся.

В установках свободного охлаждения рекомендуется применять многоступенчатую очистку воздуха. Так как загрязненность воздуха зависит не только от города, но и от конкретного места размещения установки, то определить скорость загрязнения фильтров можно только опытным путем — на базе пробного образца или по итогу тестового периода эксплуатации.

Отслеживание загрязненности фильтров ведется по показаниям дифференциального манометра. Замена фильтров должна производиться по факту удвоения изначального перепада давлений, в крайнем случае — утроения. Конструкция фильтра должна предусматривать возможность их изъятия из установки и смены фильтрующего материала. Так как этот процесс зачастую не может быть выполнен мгновенно, а подача нефильтрованного воздуха невозможна, следует предусмотреть запасную фильтрующую кассету.

Основа надежного фрикулинга

Из всего вышесказанного следует, что надежность систем свободного охлаждения во многом зависит от грамотной их автоматизации. Безусловно, термодинамические, гидравлические и аэродинамические основы проектирования систем охлаждения играют огромную роль. Однако в этой нише, как ни в какой иной, важна правильная автоматизация. И речь идет не только и не столько о проектировании систем автоматики, сколько об их отладке и модернизации алгоритмов управления в процессе эксплуатации.

Большие объемы воздуха, высокие скорости и большое число различных элементов сильно усложняют проект. Кроме того, центры обработки данных изначально относятся к ответственным объектам повышенной важности, что предъявляет дополнительные требования к надежности автоматики. Как результат — для автоматизации систем охлаждения часто предусматривают дублирующие системы, хранение данных в нескольких независимых базах данных, дублирование датчиков температуры, давления и других.

Выход из строя одного из контроллеров не должен выводить всю систему из строя или существенно нарушать алгоритм ее работы. Выход из строя одного из датчиков не должен оставлять систему без данных о температуре или влажности воздуха в рассматриваемой точке. Отключение одного из диспетчерских компьютеров не должно оставлять инженеров по эксплуатации без детальной информации о функционировании объекта.

Следует помнить, что перегрев в ЦОД чаще всего случается не во всем помещении в целом, а в конкретной точке. Например, когда до одного из верхних юнитов в серверной стойке не доходит достаточное количество холодного воздуха. Следовательно, датчики температуры должны быть установлены не только в воздуховодах на входе и выходе из машинного зала, но и в каждой из стоек.

Для получения полной картины рекомендуется устанавливать в каждой стойке по три датчика — в нижней, средней и верхней зонах. Такой подход позволяет детально разобраться в особенностях работы серверного оборудования ЦОД, выявить наиболее слабые узлы и зоны излишнего охлаждения, отрегулировать систему точно в соответствии с потребностями объекта.

Параллельно с отладкой системы в базе данных накапливается статистика. Ее анализ позволяет предугадывать проблемы и предвосхищать их решение. Так зарождается понятие «умного» фрикулинга.

«Умный» фрикулинг

Создание «умных» систем — относительно новое веяние в инженерной инфраструктуре зданий. «Умных» не в смысле автоматизированных и способных управлять различными механизмами — этим сегодня уже никого не удивишь, речь о создании самообучающихся систем, способных предугадывать будущее и готовиться к нему, самостоятельно выбирать наиболее эффективный режим работы и выполнять другие функции.

Так как системы свободного охлаждения в значительной мере завязаны на условия окружающей среды (попросту — на погоду), то усилия инженеров направляются в русло прогнозирования погоды и автоматической подготовки системы к грядущей жаре или холодам.

Именно по такому принципу в современных системах происходит накопление холодоносителя в баках-­аккумуляторах. Холод накапливается в то время, когда наружная температура низка и позволяет использовать режим фрикулинга, например летними ночами. Соответственно, если днем наружная температура возрастает, то вместо активации фреоновых доводчиков задействуется запас холода из баков-­аккумуляторов.

При этом система понимает, что поддержание запасов холода требуется не всегда. Например, зимой даже днем включение фреоновых доводчиков вряд ли потребуется, следовательно, запасы холода могут быть сокращены до минимума.

Аналогичное управление возможно и в зависимости от графика изменений тепловой нагрузки внутри ЦОД. Так, в большинстве случаев серверное оборудование менее нагружено ночью. На других объектах зависимость может быть обратной — зависит от предназначения ИТ-инфраструктуры.

В любом случае «умный» фрикулинг накапливает информацию, анализирует ее и делает соответствующие выводы о работе системы — открывает или перекрывает доступ к баку-аккумулятору, открывает или перекрывает часть воздуховодов, регулирует перепад температуры между холодным и горячим коридорами.

Подводя итоги

Безусловно, фрикулинг являет собой современное эффективное решение для отвода тепла в ЦОД. Но если опыт применения прецизионных кондиционеров исчисляется десятками лет и большинство сопутствующих проблем уже изучено, а решения найдены, то в сфере систем свободного охлаждения этот путь еще не пройден до конца. Каждый новый проект пока еще уникален и требует привлечения опытных инженеров-­проектировщиков и наладчиков.

Именно поэтому особую важность приобретают тонкости и особенности проектирования систем свободного охлаждения, о многих из которых было сказано в этой статье.