Подбор кондиционеров для ЦОД имеет ряд особенностей — выбор концепции охлаждения, определение чистой холодопроизводительности, расчет теплопритоков, учет коэффициента неодновременности, акцент на энергоэффективность. Рассмотрим перечисленные нюансы по порядку.
Концепции охлаждения ЦОД
В большинстве проектов рассматривается одна из трех концепций охлаждения ЦОД: фреоновое, водяное и свободное (фрикулинг).
Фреоновое охлаждение подразумевает установку кондиционеров прямого расширения (DX) с выносными конденсаторами. Пары кондиционер — конденсатор независимы, каждая из них может быть выведена из эксплуатации без оказания влияния на другие пары. Для работы в зимнее время фреоновым кондиционерам требуется низкотемпературный комплект, они не могут использовать режим свободного охлаждения (фрикулинга)
Водяное охлаждение предполагает использование чиллеров и кондиционеров водяного типа. Все эти элементы объединены единым контуром холодоносителя, что делает их взаимозависимыми в рамках одной системы. Сюда также входят: насосная группа, расширительные и аккумулирующие баки, трубная обвязка. Все вместе делает систему весьма громоздкой. Однако для нее не требуется низкотемпературных комплектов, возможна реализация режима свободного охлаждения.
Фрикулинг представляет собой систему охлаждения за счет наружного воздуха в то время, когда его температура ниже внутреннего. Учитывая, что внутри ЦОД поддерживается температура +24…+27 °C, можно утверждать, что фрикулинг способен работать б’oльшую часть года. В остальное время используются фреоновые или водяные доводчики. Часто фрикулинг представляет собой вариант охлаждения по схеме «воздух — воздух». Для отвода большого количества теплоизбытков такая система требует устройства сети воздуховодов большого сечения. Однако энергопотребление фрикулинга минимально.
Сравнение и выбор концепций
Создание крупных ЦОД не обходится без этапа концептуального проектирования и предварительного выбора концепции построения инженерных систем на основе технико-экономического анализа. Та или иная концепция выбирается по таким критериям, как стоимость, потребляемая мощность, занимаемое место и сложность эксплуатации.
Практика показывает, что для малых ЦОД c количеством стоек до 50 штук наиболее выгодны системы охлаждения на базе фреоновых кондиционеров. Водяные системы и фрикулинг для небольших объектов излишне громоздки, а их энергосбережение в абсолютных величинах слишком мало.
В ЦОД среднего размера представляются оптимальными все три вида систем кондиционирования. Однако фрикулинг на таких объектах все же применяется редко, а фреоновые и водяные системы образуют своеобразный градиентный переход: чем больше дата-центры, тем чаще в них используется водяное, а не фреоновое охлаждение.
Наконец, в крупных и мегаЦОД фреоновые системы — редкость. Ранее такие объекты оснащались чиллерами, сегодня все чаще охлаждаются с использованием фрикулинга.
В таблицах 1–3 приведены обобщенные сведения по каждому виду систем кондиционирования ЦОД различной величины с учетом рассматриваемых критериев. Эта информация может помочь в процессе выбора концепции охлаждения, однако не стоит принимать ее буквально, поскольку это лишь обобщенная статистика, полученная на основе осреднения множества концепций.
Определение чистой холодопроизводительности кондиционеров
Особенностью центров обработки данных является практически полное отсутствие влаги в машинных залах. На объектах других типов — в общественных и административных зданиях, кафе и ресторанах, торговых центрах и магазинах — приток влаги обусловлен находящимися там людьми, приточной вентиляцией, цветами и растениями, декоративными фонтанами и другими причинами. В машинных залах дата-центров ничего подобного нет, за исключением изредка появляющегося сервисного персонала, влагоприток от которого пренебрежимо мал.
Отсутствие притока влаги упрощает охлаждение помещения, поскольку нет необходимости расходовать энергию на конденсат, но усложняет расчет системы кондиционирования, так как необходимо учитывать только явную холодопроизводительность кондиционеров. Для номинальных условий явная холодопроизводительность (Nя) указывается в каталоге, в иных ситуациях она может быть получена с помощью программы расчета или путем умножения полной холодопроизводительности (Nп) на коэффициент SHR (Sensible Heat Ratio, отношение явной тепловой нагрузки к полной):
Nя = Nп·SHR.
Второй шаг — получение чистой холодопроизводительности кондиционера, исходя из явной холодопроизводительности. Дело в том, что в ЦОД, как правило, применяются кондиционеры большой мощности с большими вентиляторами, которые создают дополнительные теплопритоки в помещении. Или же, иными словами, снижают холодопроизводительность кондиционера. Зачастую двигатель вентилятора «съедает» до 10% холодильной мощности самого кондиционера (для EC-вентиляторов — около 5%).
Итак, чистая холодопроизводительность кондиционера (Nч) равна явной холодопроизводительности за вычетом внутренних теплоизбытков кондиционера (Qк):
Nч = Nя — Qк = Nп·SHR — Qк.
На рисунке 1 представлена схема, иллюстрирующая расход полной холодильной мощности агрегата на формирование конденсата, мощность вентилятора и чистую холодопроизводительность кондиционера.
Например, полная холодопроизводительность шкафного кондиционера Stulz CyberAir3 ASD-461 на хладагенте R407C при нормальных условиях составляет 46,5 киловатта, явная — 43,7 киловатта. Мощность вентилятора — 2,2 киловатта. Таким образом, чистая холодильная мощность, которую следует учитывать при подборе оборудования, составит 41,5 киловатта.
К слову, о такой особенности расчета кондиционеров для ЦОД с некоторых пор стали заявлять сами производители. В частности, в тех же каталогах Stulz CyberAir3 величина мощности вентилятора преподносится как «мощность, поглощаемая вентиляторами» со сноской «Потребляемая электрическая мощность вентиляторов должна быть прибавлена к нагрузке помещения».
Еще одна тонкость — это условия, для которых даны мощностные характеристики кондиционеров. При нормальных условиях (для ЦОД — температура 24 °C и влажность 50% внутри помещения при температуре 35 °C снаружи) холодопроизводительность самых мощных шкафных фреоновых кондиционеров едва превышает 100 киловатт, а их явная холодопроизводительность в среднем на 5–15% ниже полной (чем мощнее модель, тем выше процент).
Между тем в каталогах, например, Schneider Electric Uniflair IDAV, холодильная мощность фреоновых шкафных кондиционеров достигает 160 киловатт при равенстве явной и полной холодильных мощностей. Ответ кроется в примечании к таблице: данные приведены для температуры 35 °C и влажности 30% внутри помещения при температуре 35 °C снаружи. Естественно, при столь высокой внутренней температуре мощность кондиционера резко возрастет, а при низкой влажности отсутствие конденсата обеспечит высокую явную холодильную мощность.
В случае фрикулинга суть определения чистой холодопроизводительности также сводится к вычету мощности вентиляторов из явной холодильной мощности установки свободного охлаждения.
Учет всех теплопритоков в ЦОД
Распространенная ошибка при подборе кондиционеров в ЦОД заключается в том, что в теплопритоках зачастую учитывают только мощность серверного оборудования. В глазах проектировщика задача выглядит так: «Нужно охладить ЦОД на 500 киловатт, следовательно, необходимо подобрать несколько кондиционеров общей холодильной мощностью 500 киловатт». Однако классическую методику расчета теплопритоков в помещение от разных источников никто не отменял, и теплоприток от технологического оборудования — суть лишь одно из слагаемых в таких расчетах.
Нормы предписывают избегать окон в машинных залах ЦОД. Таким образом, теплоприток от солнечной радиации часто (но не всегда!) равен нулю. Кроме того, в машинных залах ЦОД нет постоянных рабочих мест, следовательно, теплоприток от людей также равен нулю. Остальные теплопритоки — через ограждающие конструкции, от приточной вентиляции и от освещения — подлежат расчету по формулам согласно общей теории о кондиционировании. В ряде случаев таких «нежданных» теплопритоков может «набежать» на десяток киловатт.
Наконец, напомним про тепловыделения от помещений, где размещаются источники бесперебойного питания, а также от электрощитовой и операторской комнат. Комплексный подход к созданию микроклимата в ЦОД подразумевает учет всех помещений объекта.
Коэффициент неодновременности и недозагруженности
Два коэффициента — неодновременности и недозагруженности — часто объединяют в один (kн) и принимают в диапазоне от 0,7 до 1,0 в зависимости от характера вычислительных задач, решаемых дата-центром. Среднее рекомендуемое значение составляет kн = 0,8.
Данный коэффициент учитывает тот факт, что не все серверное оборудование в ЦОД работает одновременно, и не все серверное оборудование загружено на 100% своих возможностей. Кроме того, в ряде ЦОД не все стойки заполнены серверным оборудованием, что опять-таки говорит об уменьшении фактических теплопритоков относительно максимального уровня.
Исключением являются, например, суперкомпьютеры. Этот вид ЦОД имеет наивысшую загрузку. Рекомендуемый коэффициент неодновременности и недозагруженности для суперкомпьютеров составляет 1.
Таким образом, реальный теплоприток Qреал от серверного оборудования ЦОД равен произведению максимальной мощности серверного оборудования QИТ на коэффициент неодновременности и недозагруженности:
Qреал = QИТ · kн.
Коэффициент запаса
Коэффициент запаса (kз) фактически нейтрализует только что рассмотренный коэффициент неодновременности и недозагруженности, однако в общем случае не стоит выпускать из виду ни один из них.
Коэффициент запаса служит для учета вероятных перегрузок на объекте, снижения холодопроизводительности системы со временем, ухудшения качеств холодоносителя, играет роль дополнительного резерва мощностей. Рекомендуемое значение коэффициента запаса составляет kз = 1,2 и может быть изменено по согласованию с заказчиком.
Соответствие температур холодоносителя
Еще одна часто встречающаяся ошибка — несоответствие расчетной температуры холодоносителя для водяного кондиционера и чиллера. Стандартным температурным графиком холодоносителя является 7/12 °C. Однако в ЦОД часто применяются более высокие графики: 10/15 °C, 12/17 °C, а иногда и 15/20 °C.
Более высокие температурные графики позволяют избежать появления конденсата во внутреннем блоке и существенно повысить холодильную мощность чиллера. Однако повышение температуры холодоносителя понижает холодильную мощность внутреннего блока. В маркетинговых целях производители могут указывать в каталогах холодильную мощность внутреннего блока для низких температур холодоносителя, а холодильную мощность чиллера — для более высоких температур холодоносителя. Очевидно, на практике такая система правильно работать не будет.
В данном случае следует обращать внимание на условия, для которых приведены данные в каталогах, а лучше пользоваться вендорскими программами расчета.
Принцип соответствия распространяется и на тип холодоносителя: чистая вода или водный раствор гликоля. Он же применим и для подбора выносных конденсаторов фреоновых кондиционеров: расчетная наружная температура внутреннего блока и конденсатора должны совпадать.
Акцент на энергоэффективность
Системы кондиционирования — наиболее энергоемкие среди инженерных систем ЦОД, они имеют наибольший потенциал экономии потребляемой мощности. Для большинства ЦОД характерно плавное наращивание мощности ИТ-оборудования. Следовательно, длительное время система охлаждения будет работать при неполной нагрузке. Данный режим обязательно должен учитываться при подборе климатического оборудования.
Кроме того, акцент на максимизацию энергоэффективности системы кондиционирования ЦОД заключается в выборе кондиционеров с инверторными приводами компрессоров, регулируемыми вентиляторами, электронным ТРВ, а также в выполнении ряда рекомендаций применительно к серверным стойкам дата-центра.
Эти и другие рекомендации, а также технологии энергосбережения, применяемые в прецизионных кондиционерах, были подробно разобраны в материалах «Технологии прецизионных кондиционеров» («Мир климата» № 101) и «Новые методы повышения энергоэффективности систем кондиционирования центров обработки данных» («Мир климата» № 64). Ниже мы остановимся только на особенностях применения в ЦОД кондиционеров с инверторными компрессорами и различными модификациями вентиляторной секции.
Инверторные и неинверторные компрессоры
В последние годы технологиям плавного регулирования холодопроизводительности уделялось огромное внимание. В технике прецизионного кондиционирования инверторные приводы стали рассматриваться как базовая комплектация агрегата. Однако в настоящий момент все чаще возникают разговоры о том, что для охлаждения ЦОД инверторные кондиционеры необязательны.
Дело в том, что среднерыночная максимальная мощность одного холодильного контура составляет 50 киловатт. Агрегаты холодильной мощностью от 50 до 100 киловатт являются двухконтурными, а следовательно, двухкомпрессорными. Контуры таких кондиционеров могут работать по отдельности, то есть фактически обеспечивать регулирование холодопроизводительности по схеме 0—50—100%.
Если в машинном зале установлено 6 кондиционеров (5 рабочих и 1 резервный), а каждый кондиционер имеет регулирование 0—50—100%, то в масштабах машинного зала полная мощность одного кондиционера составит 20% от общей тепловой нагрузки, а формула регулирования преобразится в 0—10—20%.
Иными словами, если в дата-центре установлены 5 двухконтурных кондиционеров, то можно говорить о том, что на объекте уже реализовано регулирование холодопроизводительности в диапазоне от 0 до 120% с точностью до 5% (половина шага в 10%). Разве этого недостаточно?
Закупка оборудования с инверторными компрессорами повышает стоимость системы охлаждения в среднем на 20–30%, а фактическая выгода заключается лишь в нивелировании и без того невысокой 5%-ной ошибки. При желании повысить точность регулирования оптимальным решением станет установка одного инверторного кондиционера на один машинный зал. В этом случае обычные агрегаты обеспечат базовую холодильную мощность, а один инверторный доведет ее до точного соответствия тепловой нагрузке.
Секции вентилятора
Потребляемая вентиляторами кондиционеров мощность в одном машинном зале достигает десятков киловатт. Как мы уже выяснили, эта величина фактически представляет собой дополнительный теплоприток в помещение ЦОД и требует увеличения мощности системы охлаждения. Производители предлагают различные методы снижения мощности вентиляторов.
Так, распространенной стала практика выноса вентиляторной секции кондиционера под фальшпол (рис. 2). Это обеспечивает увеличение свободного места внутри кондиционера, снижение его аэродинамического сопротивления, выдув воздуха не вертикально вниз, а горизонтально в глубину подфальшпольного пространства. Все вместе позволяет сэкономить 5–15% от номинального энергопотребления вентиляторов.
Еще одна разработка — откидные теплообменники внутри кондиционера. Такие теплообменники могут занимать более выгодное с аэродинамической точки зрения положение. Функция требует присоединения к кондиционеру специальной секции, увеличивающей глубину кондиционера для проведения маневра. Снижение энергопотребления вентиляторов достигает 10%.
Пример расчета
В качестве примера рассмотрим задачу кондиционирования только машинного зала ЦОД, мощность которого равна QИТ = 500 киловатт, прочие теплопритоки составляют Qпр = 5 киловатт, коэффициенты недозагруженности и запаса равны соответственно kн = 0,8 и kз = 1,2, температура и влажность внутреннего воздуха составляют 24 °C и 50%.
Расчетная величина теплоизбытков для данного ЦОД составляет:
Qр = (QИТ · kн + Qпр) · kз = (500·0,8 + 5) · 1,2 = 486 киловатт.
В качестве базовой примем модель кондиционера Stulz CyberAir3 ASD-1072. Полная холодильная мощность агрегата равна Nп = 102,4 киловатта, явная — Nя = 88 киловатт, мощность вентилятора Qк = 4,6 киловатта. Чистая холодильная мощность составляет:
Nч = Nя — Qк = 88–4,6 = 83,4 киловатта.
Для покрытия 486 киловатт теплоизбытков потребуется установить:
n = Qр / Nч = 486/83,4 = 5,83
или, округляем в большую сторону и учитываем одну резервную единицу, 7 кондиционеров.
Слепой расчет (если мощность ЦОД разделить на мощность кондиционера) привел бы к недопоставке одного кондиционера: 500/102,4 = 4,88 или, округляем в большую сторону и учитываем одну резервную единицу, 6 кондиционеров, что на единицу меньше правильного результата.
