Одна из тенденций на рынке ЦОД последних лет — строительство крупных объектов с числом стоек более 200. В мегаЦОД их количество доходит до нескольких тысяч. При этом мощность объекта и, соответственно, системы охлаждения достигает десятков мегаватт.
В большинстве случаев крупные ЦОД представляют собой несколько машинных залов, рассчитанных не более чем на 200 стоек. Каждый такой зал охлаждается собственным комплексом прецизионных кондиционеров, а потому можно говорить о том, что охлаждение крупного ЦОД представляет собой задачу охлаждения нескольких ЦОД среднего размера. Ее решение описано в статье «Кондиционирование ЦОД среднего размера», опубликованной в журнале «Мир климата» № 106. Однако, как водится, везде есть свои нюансы.
Архитектура ЦОД
Несмотря на то что крупные дата-центры представляют собой комбинацию нескольких средних, архитектура этих объектов кардинально различается. И дело не в устройстве ЦОД как такового — в любом машинном зале стойки образуют ряды, а охлаждение на большинстве объектов осуществляется шкафными кондиционерами с выдувом холодного воздуха под фальшпол.
Причина кроется в архитектуре самого здания. Как показывает практика, малые и средние ЦОД формируются внутри существующих строений. В свою очередь, мегаЦОД устраивают либо во вновь возводимом здании, либо в существующем производственном цеху со свободной планировкой. Иными словами, малые и средние ЦОД подгоняются под возможности строения, а для крупных объектов само здание подгоняется под нужды ЦОД.
Возможность определять строительную архитектуру позволяет создать «правильную» планировку — с удобным расположением взаимосвязанных помещений, достаточной шириной прохода, полноценными пандусами, качественным охлаждением.
Как результат, для мегаЦОД характерно масштабирование не на уровне рядов стоек или машинных залов, а на уровне блоков (или модулей). Каждый модуль может включать в себя машинный зал, помещение ИБП, электрощитовую, венткамеру и прочие помещения.
На рис. 1 приведена часть планировки крупного ЦОД. Площадь каждого машинного зала составляет 110 квадратных метров. На ней расположены 4 ряда по 14 стоек мощностью 9 киловатт каждая. Это достаточно большое значение для охлаждения с помощью шкафных кондиционеров через фальшпол, поэтому горячие коридоры изолированы.
Охлаждение каждого машинного зала осуществляют 5 шкафных прецизионных кондиционеров, расположенных в прилегающих к машинному залу помещениях венткамер. Еще один кондиционер является резервным.
В то же время к машинному залу прилегают помещения ИБП и электрощитовой. Это позволяет одной магистралью системы холодоснабжения обслуживать и машинный зал, и помещение ИБП.
Нестандартные источники холода
Для крупных ЦОД, особенно зарубежной постройки, характерно использование нестандартных источников холода — свободного охлаждения за счет наружного воздуха, холода земли, озер, подземных вод. В России на данный момент реально можно говорить только о технологии свободного охлаждения — фрикулинге. Отечественные специалисты уже успели накопить определенный опыт применения этой технологии на различных объектах, и ее можно смело отнести к числу перспективных.
Кроме того, на уровне концепции в качестве источника холода для крупных ЦОД зачастую рассматривают абсорбционные чиллеры. Дело в том, что крупные объекты обычно возводятся на территориях бывших или действующих промзон, то есть в местах, где есть возможность использовать бросовое тепло. Именно абсорбционные холодильные машины позволяют эффективно получать холод из фактически бесплатного бросового тепла.
В качестве бросового может быть рассмотрено как тепло самого ЦОД, так и тепло от выхлопов газопоршневых электростанций, используемых для его электроснабжения. Кроме того, возможна утилизация регионального бросового тепла. Каждый из указанных случаев имеет огромный потенциал, однако зачастую бюрократические сложности фактически нейтрализуют их преимущества. На рис. 2 представлена принципиальная схема, предложенная в рамках одной из концепций ЦОД. Примечательно, что предложенные решения так и остались на бумаге.
Применение динамических ИБП
Определенные изменения в классическую принципиальную схему охлаждения ЦОД на базе чиллерного оборудования вносит тип используемых источников бесперебойного питания.
Классическим вариантом является применение ИБП двойного преобразования, внешне похожих на шкаф или стойку. Данные ИБП устанавливаются в отдельном помещении в ряды и охлаждаются аналогично машинному залу ЦОД. Схема холодоснабжения в этом случае также будет классической.
Однако для крупных ЦОД характерно применение динамических источников бесперебойного питания (ДИБП). Не вдаваясь глубоко в технические подробности, скажем, что при использовании ДИБП в системе холодоснабжения не требуются аккумулирующие баки для поддержания автономной работы ЦОД. Кроме того, помещения для ДИБП не требуют охлаждения, то есть задачи кондиционирования ИБП в этом случае не стоит.
Остановимся подробнее на аккумулирующих баках. Для обычных объектов они нужны, чтобы обеспечить фэнкойлы холодной водой на время остановки чиллера из-за задержки повторного запуска компрессоров (как правило, на 6 минут).
Однако в случае ЦОД аккумулирующие баки играют роль резервного хранилища холода на случай отключения электричества на объекте. При этом электроэнергию будут генерировать ИБП за счет аккумуляторных батарей, а внутренние блоки водяных кондиционеров будут работать за счет холода, накопленного в баках-аккумуляторах.
Для крупных ЦОД емкость баков-аккумуляторов составляет сотни кубометров, а масса — сотни тонн. Стоимость этого запаса определяется не только стоимостью баков как таковых, но и ценой самого холодоносителя, его охлаждения, стоимостью занимаемого баками места, его строительной подготовки для указанных нагрузок и, наконец, стоимостью решений для аварийного слива и утилизации холодоносителя.
Например, для ЦОД мощностью 3 мегаватта емкость баков-аккумуляторов составляет около 200 кубических метров. Даже в весьма компактном исполнении с учетом зон обслуживания они займут дополнительные 200 квадратных метров.
Таким образом, схемы холодоснабжения различаются в зависимости от вида применяемого ИБП. Применение ДИБП в системе электроснабжения ЦОД позволяет избавиться от баков — аккумуляторов холода и уйти от потребности в охлаждении помещений ИБП.
Резервирование кондиционеров
Ни один центр обработки данных не обходится без резервирования инженерного оборудования. В крупных дата-центрах следует предусматривать резервные кондиционеры для каждого машинного зала. Таким образом, если в ЦОД 3 машинных зала, для каждого из которых требуется 4 рабочих кондиционера, то общее число резервных блоков составит 3 штуки — по одному на каждый зал.
При этом если для каждого машинного зала предусмотрено свое собственное наружное климатическое оборудование, то оно также должно иметь одну резервную единицу (итого 3 резервных блока на 3 машинных зала). Если же наружные блоки едины для всего ЦОД (например, несколько чиллеров, обслуживающих ЦОД целиком), то достаточно предусмотреть всего один резервный чиллер (итого 1 резервный блок на 3 машинных зала).
Второй вариант, как может показаться, позволяет сэкономить на резервном оборудовании, поскольку требуется всего один резервный блок вместо трех. Однако централизация наружного оборудования ведет к увеличению длин трасс, размеров труб, количества арматуры, а также к усложнению обвязки систем холодоснабжения, усложнению автоматики и росту стоимости эксплуатации полученной системы. В данном случае только технико-экономический анализ позволит точно ответить на вопрос, какой из вариантов наиболее выгоден.
Гибридное резервирование
Еще одно рационализирующее решение в части резервирования касается ЦОД, охлаждаемых с использованием фрикулинга. Установки свободного охлаждения отличаются большими габаритами как самого оборудования, так и трасс воздуховодов. В итоге на объекте весьма сложно найти место для монтажа резервных установок свободного охлаждения.
В этом случае на помощь приходит гибридная система — установки свободного охлаждения монтируются без резерва, а в качестве резервных используются более компактные шкафные кондиционеры. Такой подход позволяет совместить «дешевый» холод и общую надежность ЦОД.
Дальнейшая оптимизация предложенного решения приводит к окончательному снижению мощности классических кондиционеров. При этом необходимое для резервирования установки свободного охлаждения количество кондиционеров устанавливается не в каждом машинном зале, а на весь объект в целом.
Рассмотрим конкретный пример. Допустим, ЦОД включает в себя 4 машинных зала, мощность ИТ-оборудования в каждом из которых составляет 700 киловатт. Для охлаждения каждого машинного зала применяются установки свободного охлаждения, генерирующие по 350 киловатт холода. Таким образом, в общей сложности на объекте будут установлены 8 таких установок. Однако они способны устранить лишь номинальные теплоизбытки. В случае аварии одной из установок резерва нет.
Для решения проблемы резерва предлагается использовать шкафные прецизионные кондиционеры. На первый взгляд кажется, что в каждый машинный зал нужно установить по нескольку кондиционеров для полноценной замены одной установки свободного охлаждения. Например, 4 кондиционера по 90 киловатт — всего 16 кондиционеров на объект. Но можно сэкономить, рассматривая весь объект в комплексе. Поскольку задача заключается в том, чтобы обеспечить резерв на объекте, где установлены 8 агрегатов по 350 киловатт, то достаточно зарезервировать лишь один из них, смонтировав, например, в каждый машинный зал по одному кондиционеру или же разместив 4 кондиционера только в одном из залов.
Подобная схема представлена на рис. 3. Согласно проекту в каждом машинном зале предусмотрен один шкафной кондиционер холодильной мощностью 100 киловатт. При аварии в одной из систем свободного охлаждения включаются в работу шкафные кондиционеры. Они «снимают» по 100 киловатт тепла в каждом машинном зале. Избыток холода от исправных агрегатов свободного охлаждения по перепускным клапанам попадает в зал, где данное оборудование вышло из строя.
Отметим еще пару нюансов. Во-первых, целесообразнее закладывать в проект фреоновые, а не водяные кондиционеры, если их всего 4, а на объекте нигде не используется вода. Причина проста — организация чиллерной системы в данном случае обойдется весьма дорого.
Во-вторых, фактически, если представить 4 резервных кондиционера как единый блок резервирования, мы имеем ситуацию с 8 рабочими и 1 резервным блоками. Однако при создании действительно надежной системы, а не просто системы, удовлетворяющей требованиям резервирования N+1, рекомендуется, чтобы одна резервная единица приходилась не более чем на 4–7 рабочих агрегатов. То есть мы уже немного выбиваемся из рекомендаций, а если учесть, что резервный блок состоит из 4 независимых кондиционеров, каждый из которых также может сломаться, очевидно, что схема не является абсолютно надежной.
В данном случае можно предложить как минимум зарезервировать один из резервных кондиционеров. Тогда их станет 5, и это положительно скажется на надежности всей системы в целом.
Резервирование трасс и арматуры
Надежность системы холодоснабжения ЦОД определяется не только надежностью основного климатического оборудования, но и второстепенными компонентами — трубопроводами и арматурой.
Схема холодоснабжения должна учитывать вероятность протечки какой-либо из труб, а также обеспечивать возможность ремонта любого элемента арматуры, будь то фильтр или кран, без остановки всей системы.
Как результат, в принципиальных схемах системы холодоснабжения ЦОД предусматривают дублирующие ветви трубопроводов и кондиционеров с двумя входами холодоносителя, кольцевую схему движения холодоносителя или же две идентичные системы холодоснабжения одновременно. В первых двух случаях резервированию подлежит еще и арматура. Именно поэтому схемы холодоснабжения ЦОД кажутся перегруженными и запутанными.
На рис. 4 приведены схемы подключения кондиционера в двух вариантах: если кондиционер имеет два ввода холодоносителя и если у кондиционера один ввод, но предусмотрена кольцевая схема распределения холодоносителя.
В случае кольцевой схемы, как было сказано выше, нет тупиковых ветвей трубопроводов, а следовательно, нет и тупиковых кондиционеров. К каждому из кондиционеров холодоноситель подводится с двух сторон. Развязка возле кондиционера позволяет обеспечить ремонт как самого кондиционера, так и арматуры возле него. Если авария произошла на участке трассы слева от кондиционера, то подача холодоносителя осуществляется по трубопроводам, расположенным справа.
Все вышесказанное относится не только к кондиционерам, но и к чиллерам, теплообменникам, насосным группам, бакам-аккумуляторам — словом, ко всем без исключения элементам системы холодоснабжения.
Общие соображения о надежности
Надежность систем фреонового кондиционирования, а тем более водяного холодоснабжения — краеугольный камень проектов для центров обработки данных. Каждое решение для ЦОД имеет высокую стоимость, а нейтрализовать все усилия по повышению надежности способна любая мелочь. Несмотря на то что все основные решения, казалось бы, уже придуманы и отработаны, на каждом объекте возникают вопросы о необходимости того или иного элемента в системе.
Однако оценка соответствия проекта или законченного объекта тому или иному уровню надежности производится простым перебором разнообразных аварийных ситуаций с проработкой алгоритмов функционирования системы в каждой из них. Анализ надежности ЦОД и целесообразности резервировании тех или иных блоков в обязательном порядке должен проводиться при рассмотрении любой системы ЦОД.
Справедливости ради заметим, что в последние годы формируется и иная точка зрения на надежность ЦОД. Речь идет не об обеспечении высочайшего уровня надежности конкретного дата-центра, а о строительстве нескольких менее надежных ЦОД, резервирующих друг друга.
Принципиальная схема холодоснабжения крупного ЦОД
На рис. 5 представлена общая принципиальная схема холодоснабжения ЦОД мощностью 2,8 мегаватта. ЦОД включает в себя 4 машинных зала, в каждом из которых установлено ИТ-оборудование мощностью 700 киловатт. Используются классические ИБП двойного преобразования. Для каждого машинного зала предусмотрено собственное помещение ИБП с тепловыделением 70 киловатт в каждом из них.
Для охлаждения объекта предусмотрена чиллерная система. Каждый машинный зал охлаждают 8 кондиционеров мощностью 100 киловатт, один из которых резервный. В помещениях ИБП предусмотрено по два кондиционера мощностью 70 киловатт, один из которых также является резервным.
Общая мощность рабочих блоков кондиционеров составляет 3,08 мегаватта. Для генерации холода предусмотрено 5 чиллеров по 800 киловатт каждый. Один из чиллеров является резервным.
Поскольку система холодоснабжения должна работать круглый год, принята двухконтурная схема. Иными словами, чиллеры охлаждают незамерзающий раствор этиленгликоля в воде, который далее посредством пластинчатых теплообменников отдает холод во внутренний водяной контур.
Именно на внутреннем контуре установлены баки-аккумуляторы. Требования по автономности работы на данном объекте потребовали запаса холодной воды в объеме 175 кубометров. Наиболее практичным представилось решение о применении 7 емкостей по 25 кубометров.
Двухконтурная схема холодоснабжения хоть и несколько проигрывает в энергоэффективности одноконтурной схеме, но имеет ряд преимуществ. Этиленгликоль заметно дороже чистой воды, и двухконтурная схема позволяет на порядок снизить затраты на его покупку, учитывая, что и баки-аккумуляторы в двухконтурной схеме заполнены водой, а не гликолевым раствором. Кроме того, гидродинамические характеристики гликолевого раствора хуже, чем у воды. Поскольку основная длина трубопроводов «работает» на воде, то менее эффективной остается лишь малая часть наружных труб.
Безусловно, при подборе оборудования следует помнить, на каком холодоносителе и в каком температурном графике оно работает.
При подключении к кондиционеру и чиллеру предусмотрены отсекающие краны для безболезненного ремонта или сервисного обслуживания конкретной единицы оборудования, а на трассе между кондиционерами и чиллерами установлены сдвоенные краны. Кроме того, все магистральные трубопроводы закольцовываются и убираются тупиковые трассы. Данные решения в совокупности позволяют безболезненно пережить любую аварию на трассе — протечку или плановый ремонт как трубопровода, так и любого из элементов арматуры.
Более того, как видно из рис. 5, внутренний водяной контур системы имеет основную кольцевую магистраль и ответвления к машинным залам и помещениям ИБП. Важно понимать, что кольцевой принцип применен не только к магистральному кольцу, но и к ответвлениям. Ветви трубопроводов, направленные в ЦОД, также закольцованы. Узел соединения магистрального и внутреннего колец выполнен со сдвоенными кранами аналогично подключению кондиционеров на рис. 4.
Таким образом, формируется весьма сложная многокольцевая структура, каждая линия, каждая единица оборудования и каждый кран на которой зарезервирован и может быть отремонтирован или временно изъят из системы на некоторое время без перебоев в функционировании системы в целом.
Заключение
Крупные ЦОД, которые на первый взгляд представляют собой несколько средних и малых ЦОД, объединенных под одной крышей, на самом деле имеют свою специфику. А именно: при охлаждении крупных ЦОД чаще используют нестандартные источники холода и свободное охлаждение; особое внимание уделяется применяемым на объекте источникам бесперебойного питания; отдельно рассматриваются вопросы резервирования кондиционеров, трубопроводов и арматуры с обязательным учетом архитектуры объекта. Свои отличительные особенности имеет также и принципиальная схема холодоснабжения.
