Самый простой способ достичь максимальной энергоэффективности объекта — отказаться от его строительства. И бюджет будет цел, и энергия сохранится. Но такой вариант не устроит заказчика, ведь задачи, ради решения которых он задумал строительство ЦОД, останутся нерешенными. Чтобы энергоэффективность повышалась не в ущерб функциональности, необходимо искать рациональные варианты устройства каждого узла дата-центра. Ниже мы поговорим о тех предложениях, которые мог бы выдвинуть грамотный инженер по климатическим системам ЦОД.
Важность применения энергосберегающих решений при устройстве системы кондиционирования объясняется тем, что это самая энергоемкая среди всех инженерных систем ЦОД, потребляющая более 30% мощности объекта.
Применение современного оборудования
Революционные изменения на рынке систем вентиляции и кондиционирования не происходят каждый год, но существует накопительный эффект, который дает о себе знать на дистанции. Эффективность прецизионных кондиционеров, выпущенных 10 и более лет назад, ощутимо меньше, чем у современных моделей. Именно поэтому каждые 10–15 лет стоит задумываться о модернизации систем кондиционирования ЦОД.
К числу технологических новшеств, внедряемых в современную климатическую технику, следует выделить инверторные приводы компрессоров, электронные терморегулирующие вентили, усовершенствованные алгоритмы работы, выносные секции вентиляторов с оптимизированными аэродинамическими конструкциями и прочие инновации. Каждая из них несет в себе 1–2% дополнительной экономии, а все вместе они позволят понизить энергопотребление системы до 25%.
Кстати, с позиции анализа капитальных и эксплуатационных затрат далеко не всегда выгодно закупать самые последние — топовые — модели кондиционеров. Технология их изготовления еще не отработана, а стоимость зачастую завышена. Также могут возникнуть сложности с монтажом и сервисом ввиду отсутствия нужного опыта.
Такая ситуация сложилась на одном из объектов: оборудование привезли новое, самое современное, и первые два дня монтажники даже боялись его вытаскивать из коробки. Потом, когда вытащили и поставили, выяснилось, что в комплекте нет соединительного дренажного шланга, узел сбора конденсата потребовал еще некоторых доработок, а настройка их совместной работы затянулась на неделю — просто потому что по сравнению с прошлогодними моделями появились изменения, а опыта еще нет.
Ввиду вышесказанного некоторым преимуществом обладают прошлогодние модели. Ажиотаж вокруг них уже поутих, стоимость оптимизирована, появился опыт монтажа и эксплуатации. Именно с такими кондиционерами и стоит иметь дело. Исключение составляют маркетинговые акции, в ходе которых новейшее оборудование продается со скидкой ради рекламы.
Разделение потоков и изоляция коридоров
Главное правило проектирования систем охлаждения для центров обработки данных — разделять потоки холодного (охлажденного кондиционерами) и горячего (всасываемого кондиционерами) потоков воздуха.
Глобально такое разделение устраивается путем подачи холодного воздуха под фальшполом и сбором горячего воздуха в пространстве помещения или за фальшпотолком. В самом помещении эти потоки воздуха разделены рядами стоек — для этого формируется рядная структура машинных залов ЦОД с чередованием холодных и горячих коридоров.
При наличии высоконагруженных стоек (более 7 киловатт на стойку) рекомендуется изолировать коридоры, в первую очередь горячие, устанавливая крышу поверх стоек и заглушки или двери в его торцах (рис. 1).
В течение ряда лет инженеры спорили, какой коридор выгоднее изолировать — холодный или горячий. Поначалу считалось, что нужно беречь холод, изолируя холодный коридор. Но с течением времени температура воздуха в холодном коридоре росла: в целях экономии энергии стало возможным охлаждать воздух до 16, потом до 18, сейчас — до 20°C. Иными словами, температура воздуха в холодном коридоре почти сравнялась с обычной комнатной температурой.
Выросла и температура воздуха в горячем коридоре. На сегодня она достигает 35°C. Таким образом, стало выгоднее изолировать горячие потоки воздуха, принимая, что условия холодного коридора фактически распространяются на помещение машинного зала.
Следующий этап — изоляция потоков на уровне стоек. Следует герметизировать щели между стойками, устанавливать заглушки в свободные юниты в стойках, устанавливать вертикальные заглушки для кабельных органайзеров при малом числе кабелей.
Вопрос применения заглушек особенно актуален, когда внутрь ряда попадает колонна. Сами по себе стойки предусматривают очень плотную установку друг к другу, а колонна может нарушить эту идиллию. Ширина стойки обычно не совпадает с шириной колонны, и расстановку первых придется подгадывать под раскладку вторых. Часто от стойки до колонны остается зазор, например 200 миллиметров, который следует чем-то закрыть, и об этом необходимо думать заранее, на этапе проектирования.
Еще одна рекомендация — закрывать напольные решетки в еще не смонтированных холодных коридорах (рис. 2). Такая ситуация возникает при поэтапном вводе ЦОД в эксплуатацию. Часть машинного зала уже запущена, а в другой его части или установлены пока еще пустые стойки, или отсутствуют как стойки, так и оборудование. Но напольные решетки под будущие холодные ряды уже уложены. Очевидно, холодный воздух от кондиционеров устремится в том числе и в эти решетки, циркулируя вхолостую.
Несмотря на то что рекомендациям по герметизации щелей и установке заглушек уже более десятка лет, они до сих пор актуальны и относятся к числу тех, которые можно применить «здесь и сейчас». Во множестве действующих ЦОД, особенно 2000-х годов постройки, данные правила по-прежнему не применены в полной мере.
Поддержание перепада давлений
В машинный зал в каждый момент времени нужно подавать ровно столько холода, сколько необходимо для бесперебойной работы серверного оборудования. Собственные вентиляторы электронного оборудования работают тем активнее, чем сильнее загружен процессор. При этом, очевидно, они прокачивают больше воздуха. То есть более нагруженное серверное оборудование быстрее перекачивает воздух из холодного коридора в горячий. В пиковые часы этого воздуха может не хватать, что приведет к перегреву оборудования в стойках и неэффективной работе системы охлаждения.
Ключ к решению проблемы кроется в поддержании постоянного перепада давления между холодным и горячим коридорами (в холодном коридоре давление должно быть несколько выше, чем в горячем). Для этого применяются специальные дифференциальные датчики. Производительность кондиционера, а иногда и распределение холодного воздуха по холодным коридорам, следует согласовывать с показаниями этих датчиков.
Такое решение позволяет избежать перегрева серверного оборудования, продлить срок его службы и, что важно, построить наиболее эффективную систему холодоснабжения.
Кстати, для идентификации перепада давления необязательно использовать дифференциальный манометр. Если в стенке между холодным и горячим коридорами сделать небольшое отверстие, можно обойтись датчиком контроля направления движения воздуха. Очевидно, что воздух будет двигаться из зоны более высокого давления в зону более низкого. Наша задача — обеспечить поток через отверстие из холодного в горячий коридор. Важно лишь, чтобы отверстие находилось в спокойном месте без сильных завихрений.
Расстановка стоек
Расстановкой и взаимоувязкой серверных стоек занимается в первую очередь системный архитектор, но и взгляд специалиста по охлаждению на этот вопрос очень полезен. В конце концов, именно ему их потом охлаждать.
Типичные ошибки при проектировании стоек сводятся к их неравномерной тепловой нагрузке и неудобному расположению высоконагруженных стоек в зале.
Например, при средней мощности стойки 5 киловатт не следует подряд ставить несколько стоек мощностью 10 киловатт, снизив мощность остальных до 3 киловатт. В идеале нужно стремиться к равномерной мощности всех стоек, а при невозможности — распределять высоконагруженные стойки равномерно в машинном зале, не образуя заведомо проблемных горячих точек.
Еще один путь — умышленное разделение всех стоек на 2–3 группы в зависимости от мощности (например, не более 7 киловатт, от 8 до 15 киловатт, более 16 киловатт). Далее для каждой группы следует предусмотреть свои решения по отводу тепла: герметизировать холодные и горячие коридоры, применять внутрирядные кондиционеры, выбирать количество резервных установок, рассматривать прочие решения.
Повышение температуры холодоносителя
Энергоэффективность парокомпрессионного холодильного цикла тем выше, чем выше температура испарения, и этим активно пользуются в сфере ЦОД. Фактически речь о том, что один и тот же чиллер генерирует гораздо больше холода при температурном графике 10/15°C, чем при 7/12°C.
Но за последние годы температурный график холодоносителя в системах охлаждения вырос еще сильнее — до 15/20, а иногда и до 18/21°C. Отчасти это стало возможным благодаря появлению более жаростойкого серверного оборудования, отчасти — за счет грамотного управления потоками воздуха в ЦОД.
Помимо менее затратной выработки холода повышение температуры холодоносителя способствует увеличению часов работы режима свободного охлаждения. Действительно, чтобы охладить холодоноситель до +7°C, необходима уличная температура +2—3°C. А холодоноситель с температурой +18°C можно получить при уличной температуре до +14°C. В итоге в Москве, например, в первом случае режим свободного охлаждения работал бы 45% времени в году, а во втором — уже 73% времени. Разница составляет 28%, то есть борьба идет за целый квартал «дешевого» холода в году.
Концепция повышения температуры холодоносителя, кстати, дополнительно подтверждает вышеприведенные рассуждения о том, какой коридор изолировать. Высокая температура холодоносителя обеспечивает температуру в холодном коридоре, схожую с типичной комнатной температурой. Температура в горячем коридоре при этом достигает некомфортных для человека значений, а потому горячие потоки воздуха следует изолировать от остального объема помещения.
Вполне вероятно, близок тот час, когда потоки воздуха из горячего коридора будут не просто отделять коробом, но и теплоизолировать сам короб. Не для того, чтобы не обжечься, а чтобы короб не нагревал помещение машинного зала.
Кроме того, обсуждается вариант переменной температуры холодоносителя, устанавливаемой системой в зависимости от тепловой нагрузки ЦОД и наружной температуры. При высокой тепловой нагрузке может быть увеличена разность между холодным и горячим потоками, а при низкой — снижена разность, но увеличены обе температуры одновременно.
Двойной ввод электропитания
Применение кондиционеров с двумя вводами электропитания позволяет повысить надежность системы и сэкономить на резервных единицах. Дело в том, что проблемы с электричеством возникают на объекте чаще, чем ломаются кондиционеры. Второй ввод питания позволяет запитать оборудование от второй линии электроснабжения или от резервного источника электроэнергии, например дизельного генератора.
Если для защиты от перебоев в электроснабжении на объекте предполагалось установить дополнительные кондиционеры, запитанные от другого источника энергии, или установить дублирующие охладители иного типа, более дешевым окажется применение кондиционеров с двумя вводами. Такая практичность не только сэкономит бюджет проекта при сохранении уровня надежности, но и освободит полезное пространство в ЦОД.
Один для всех
Еще один способ повышения энергоэффективности средних и крупных ЦОД и оптимизации затрат на их строительство, который вправе предложить специалист по системам охлаждения, — применение одной и той же резервной единицы оборудования для нескольких машинных залов.
Классический подход предполагает, что для каждого машинного зала должны быть предусмотрены резервные кондиционеры. Если речь идет о водяной системе, то требуется наличие резервных чиллеров. Но вместо закупки множества резервных чиллеров можно купить 1–2 и обеспечить возможность поступления холодоносителя от них во все машинные залы.
Например, ЦОД мощностью 2 мегаватта поделен на 5 машинных залов по 400 киловатт. Предусматривать для каждого зала по 2 чиллера (рабочий и резервный) мощностью 400 киловатт означает закупить 10 чиллеров общей мощностью 4 мегаватта — ровно в 2 раза больше мощности всего объекта.
Предусматривать для каждого машинного зала по 3 чиллера (2 рабочих и 1 резервный) мощностью 200 киловатт означает ограничиться общей мощностью холодильного оборудования, равной 3 мегаваттам, но количество чиллеров вырастет до 15. С учетом сервисных зон вокруг чиллеров, обвязки и автоматики картина нерадостная.
В оптимальном варианте можно закупить всего 6 чиллеров по 400 киловатт — 5 рабочих, по одному на каждый машинный зал, и 1 резервный, способный охладить любой из залов, в котором обнаружилась проблема.
Применение фрикулинга
Кардинальное решение проблемы повышения энергоэффективности заключается в отказе от традиционных систем кондиционирования в пользу технологии свободного охлаждения. Практически все крупные ЦОД, построенные в последние лет 5, используют данную технологию в полной мере.
В рамках рубрики «Кондиционирование ЦОД» мы писали не только о фрикулинге как таковом (статья «Режим свободного охлаждения в центрах обработки данных», «Мир климата» № 110), но и о примерах его применения на реальных объектах («Удивительные, но настоящие: энергоэффективные системы охлаждения действующих и проектируемых ЦОД в России и за рубежом», «Мир климата» № 111).
Сейчас остановимся на том, как повысить энергоэффективность режима свободного охлаждения. Очевидно, здесь применимы многие вышеуказанные советы — строгое разделение горячего и холодного коридоров, максимальная изоляция горячего и холодного потоков воздуха, применение наиболее современных и экономичных вентиляторов.
Хорошее решение для свободно охлаждаемого ЦОД — применение адиабатики: распыления воды в потоке воздуха. Это позволяет понизить температуру на 3—6°C и, соответственно, существенно увеличить время работы в режиме 100%-ного фрикулинга.
На случай особенно жаркой погоды любое решение с фрикулингом предусматривает применение традиционных фреоновых кондиционеров. Безусловно, в такие периоды речи об экономии нет — главное, чтобы ЦОД работал без сбоев. Тем не менее стоит помнить, что фреоновые кондиционеры сильно увеличивают среднегодовой PUE (коэффициент использования энергии в ЦОД). Напомним, что PUE для ЦОД на фреоновых кондиционерах составляет 1,3–1,4, PUE дата-центра на фрикулинге — 1,05—1,2, PUE идеального ЦОД равен 1.
Чтобы продлить период работы системы свободного охлаждения, на объектах устраивают аккумуляторы холода — емкости заранее охлажденного холодоносителя. В описаниях некоторых зарубежных проектов приходилось читать даже о емкостях с замороженным холодоносителем. С учетом теплоты фазового перехода такой подход позволяет обеспечить значительные запасы холода.
Такие емкости могут пригодиться не только в жаркие дни, но и в периоды с высокой относительной влажностью, особенно если речь идет о фрикулинге с адиабатикой. Длительность работы режима фрикулинга заметно снижается при повышенной влажности на улице, а осушение воздуха — задача с энергетической точки зрения недешевая. Как правило, в часы повышенной влажности выгоднее использовать холод, накопленный во время более сухой погоды.
Эффект синергии
Ряд перечисленных выше методик может быть успешно применен единовременно, и это позволит добиться еще больших успехов, чем использование каждого метода по отдельности.
Например, повышение температуры холодоносителя и изоляция холодного и горячего потоков воздуха творят в буквальном смысле чудеса. Ликвидация каждой неплотности, установка заглушки в каждую щель позволяют не только повысить эффективность действующей системы, но и повысить температуру холодоносителя. Каждый градус такого повышения в пересчете на год обеспечивает около 240 часов работы системы в режиме фрикулинга, а это дополнительные 10 суток (третья часть месяца) дешевого охлаждения.
Анализ перепада давления между холодным и горячим коридорами позволит системе охлаждения работать в соответствии с реальной тепловой нагрузкой, а значит, температура холодоносителя может быть еще немного повышена.
Такие оптимизирующие шаги накладываются один на другой и приводят к эффекту синергии: совместное действие двух и более факторов существенно превосходит простую сумму действий каждого из них. На поверку выясняется, что снизить энергопотребление системы охлаждения на 10–15% не составляет труда. Важно, чтобы специалист знал, что делает, и отслеживал все изменения и взаимосвязи в системе.
Подводя итоги
К настоящему моменту придумано и опробовано немало способов построения энергоэффективной системы охлаждения ЦОД любого размера. Солидный, но не исчерпывающий перечень модификаций и решений приведен в данной статье.
Не следует применять их сразу все, но стоит присмотреться к каждому из них. Постепенное, поочередное их внедрение при сохранении бдительности и регистрации изменений позволит заметно повысить эффективность действующих дата-центров.
Решение о применении энергосберегающих технологий в новом строительстве принимается исключительно на основании технико-экономического расчета. Практика показывает, что в большинстве случаев энергосберегающие решения оправданны, если будущая служба эксплуатации будет знать о задумке проектировщиков. А это уже вопрос организации процесса строительства и документооборота между различными службами проектной, подрядной и эксплуатирующей организаций.
