Журнал «Мир климата» продолжает серию публикаций, посвященных вентиляции и кондиционированию центров обработки данных. На этот раз речь пойдет о кондиционировании ЦОД среднего размера — мы рассмотрим особенности подобных систем, возникающие проблемы, тенденции данного сегмента рынка.
Под центрами обработки данных среднего размера будем понимать объекты с количеством телекоммуникационных стоек от 50 до 200 штук. При этом в ЦОД, очевидно, будет устроена рядная архитектура с формированием горячих и холодных коридоров (подробнее про базовые принципы организации ЦОД читайте первую статью цикла — «Почему центры обработки данных охлаждают отдельно? Общие требования и особенности СКВ ЦОД», «Мир климата» № 104).
Общие положения
Выбор концепции охлаждения ЦОД зависит от ряда факторов. Основной из них — мощность ИТ-стоек. Кроме того, имеют значение наличие и высота фальшпола и фальшпотолка, требуемое время автономной работы, наличие и удаленность свободного места снаружи для размещения оборудования, геометрия помещения.
Средняя мощность стойки
Средняя мощность стойки и диапазон используемых мощностей играют большую роль в выборе типа системы кондиционирования.
Если распределение мощности по стойкам равномерное, то достаточно принять во внимание среднюю мощность одной стойки, например 5 киловатт.
Часто стойки примерно одной мощности, например по 5, 10 и 15 киловатт, можно сгруппировать в 2–3 блока.
Наихудший случай — ситуация с большим разбросом стоек по мощности без явной возможности группировки. Например, в ЦОД предполагается установить стойки от 3 до 30 киловатт, представленные устройствами мощностью по 5, 7, 10 и более киловатт.
На рис. 1 приведены две вырезки из планировки ЦОД. На каждой из них по 10 стоек общей мощностью 70 киловатт. В первом случае мощность каждой составляет 7 киловатт, нагрузка равномерно распределена. Охлаждать такой участок не составляет труда.
Другое дело — неравномерная нагрузка с явными эпицентрами тепловыделения. Отрегулировать систему охлаждения в этом случае гораздо сложнее. Более того, высоконагруженные стойки находятся по краям, что повышает риск перегрева ИТ-оборудования. Стойки по 10 и 15 киловатт рекомендуется разместить в середине ряда.
Для каждого мощностного уровня стоек можно выделить оптимальные решения по организации системы кондиционирования. Если в дата-центре все стойки одинаковой мощности, то это решение будет принято в масштабе всего ЦОД. Если выделяются 2–3 блока стоек одной мощности, то систему кондиционирования с соответствующими характеристиками следует предусмотреть для каждого блока (рис. 2). В третьем случае следует действовать по обстоятельствам или группировать стойки принудительно.
Наконец, если сетевая архитектура ЦОД не позволяет сгруппировать стойки нужным образом или одна из групп малочисленна, может быть принят смешанный вариант, когда в одном блоке будут находиться стойки различной мощности. Рекомендацией при этом будет равномерное распределение маломощных и высокомощных стоек (рис. 3).
Здесь следует сделать важное отступление.
На практике специалист по кондиционированию имеет дело с готовой планировкой ЦОД, где уже расставлены ИТ-стойки, указана их мощность. Иногда на планировке уже указано местоположение кондиционеров. Менять архитектуру ЦОД, переставлять стойки или изменять их мощность зачастую не представляется возможным.
В подобных ситуациях следует искать разумный компромисс. Дело в том, что спроектировать неэффективный ЦОД проще, чем его потом эксплуатировать. Поэтому в ответ на неграмотную планировку имеет смысл высказать аргументированные возражения по тем или иным принятым концептуальным решениям. Но и иметь запасной вариант реализации системы охлаждения для имеющейся планировки также нужно.
Кроме того, все приведенные рассуждения и рекомендации полезны для главных инженеров проектов и системных архитекторов — то есть специалистов, непосредственно занимающихся разработкой концепций и планировок центров обработки данных.
Концепции охлаждения — из чего выбирать?
Для охлаждения ЦОД среднего размера подойдут несколько видов систем кондиционирования — шкафные кондиционеры (рис. 4), внутрирядные кондиционеры (рис. 5), решения на базе технологии фрикулинга (свободного охлаждения). Последнему варианту — фрикулингу — мы посвятим отдельную статью цикла, поэтому в данном обзоре ограничимся шкафными и внутрирядными кондиционерами.
В каждом из этих случаев речь может идти о DX-кондиционерах (Direct Expansion — прямое расширение, так называют традиционные фреоновые кондиционеры) или о водяных кондиционерах (кондиционеры, работающие на охлажденной, как правило, чиллером воде).
Фреоновая или водяная система?
Какую же систему предпочесть, фреоновую или водяную? Каждая из них имеет свои преимущества и недостатки, которые к тому же меняются в зависимости от задач ЦОД и целей его владельца. Поэтому правильнее говорить не о «преимуществах и недостатках», а об особенностях. Напомним их кратко.
- Фреоновая система характеризуется, как правило, более высокой энергоэффективностью, поскольку имеет всего один холодильный контур и в ней нет насосных групп и других дополнительных элементов. Однако диапазон регулирования температуры водяного контура в чиллерной системе больше, а потому больше и возможностей для экономии. Отличные результаты показывают и современные высокотемпературные чиллеры.
- По той же причине (отсутствие насосных групп и других элементов) фреоновая система занимает меньше места, сеть трубопроводов короче, сами трубы меньшего диаметра. Однако каждому внутреннему блоку фреоновой системы соответствует один наружный блок, поэтому на крупных объектах с большим количеством кондиционеров наружных блоков тоже будет много. Учитывая расстояния между ними для обеспечения нормальной циркуляции воздуха, их размещение потребует немалой площади. Весьма вероятно, что несколько чиллеров, даже с трубной развязкой и насосной группой, займут меньше места.
- Фреоновая система состоит из самостоятельных единиц «внутренний блок — наружный блок», слаженность работы которых обеспечивается производителем оборудования. В чиллерной системе требуется мощная автоматика, взаимоувязывающая множество компонентов.
- Один из важных параметров ЦОД — время автономной работы. Это время, в течение которого ЦОД будет штатно функционировать при отсутствии внешнего электропитания. Автономность работы чиллерной системы обеспечивается установкой бака-аккумулятора достаточного объема и небольших ИБП для насосов и вентиляторов. В случае фреоновой системы автономную работу можно обеспечить только мощными ИБП, от которых будут запитаны все кондиционеры. Причем помимо ИБП потребуется немалый массив аккумуляторных батарей, емкость которых обеспечит энергией кондиционеры на заданное время автономии.
- Фреоновая система безопасна для ИТ-оборудования, в то время как водяная в случае прорыва может привести к серьезному ущербу.
Наилучшим вариантом считается проведение технико-экономического анализа обоих вариантов на перспективу 5–10 лет с последующим обоснованным выбором конкретной концепции.
Шкафные или внутрирядные кондиционеры?
Еще одна дилемма, с которой приходится сталкиваться при устройстве системы кондиционирования ЦОД, — выбор между шкафными и внутрирядными кондиционерами. Однако в данном случае выбор сделать проще, поскольку основным критерием является средняя мощность стоек, которые предполагается охлаждать.
Так, шкафные кондиционеры являются оптимальным решением для стоек мощностью до 7 киловатт. Для более мощных стоек также можно использовать шкафные кондиционеры, однако рекомендуется провести ряд дополнительных мероприятий, снижающих вероятность смешивания холодного и горячего потоков воздуха. Среди них — герметизация холодного и горячего коридоров, устранение зазоров между стойками, использование заглушек для неиспользуемых юнитов в стойке… В этом случае применение шкафных кондиционеров возможно и для охлаждения стоек мощностью до 15 киловатт или по расчету.
Внутрирядные кондиционеры (их также называют межстоечными) изначально предназначены для охлаждения более мощных стоек — от 10 до 30 киловатт и выше. Существуют решения на базе внутрирядных кондиционеров и для охлаждения стоек по 60 киловатт, но такие стойки устанавливаются и охлаждаются отдельно от остальных.
Таким образом, если в дата-центре насчитывается, к примеру, 100 стоек по 7 киловатт и 20 стоек по 20 киловатт, то для каждого блока стоек рекомендуется применить собственную систему кондиционирования — на базе шкафных и внутрирядных кондиционеров соответственно. В случае использования водяной системы оба типа кондиционеров могут быть подсоединены к одному водяному контуру. Таким образом будет сформировано решение с единым наружным оборудованием и внутренними кондиционерами двух типов, адаптированных под мощностные характеристики ИТ-стоек.
Количество и расстановка кондиционеров
Общие принципы расстановки кондиционеров были сформулированы ранее при рассмотрении небольших дата-центров (статья «Правильное кондиционирование небольшого ЦОД», «Мир климата» № 105). Здесь мы остановимся на моментах, которые характерны для более крупных ЦОД. Речь пойдет о резервировании кондиционеров и организации венткамер.
Резервирование кондиционеров
В дата-центрах на 50–200 стоек чаще используются старшие модели из линейки шкафных кондиционеров. Это наиболее мощные, габаритные и производительные кондиционеры с наибольшим расходом воздуха. Последнее означает, что, вероятно, потребуется более высокий фальшпол. Кроме того, расстояние от кондиционера до ближайшей напольной решетки может быть увеличено до 2,5–3 плиток фальшпола (1500–1800 миллиметров). Это связано с тем, что более мощный поток воздуха, генерируемый кондиционером, требует чуть большего расстояния для нормализации.
В машинных залах на 100 и более стоек зачастую устанавливают более одного резервного кондиционера, даже если формально принята схема резервирования N+1 (на N рабочих агрегатов 1 резервный). Дело в том, что основная задача резервирования кондиционеров заключается не в слепом выполнении требования N+1, а в фактическом увеличении надежности. Рассмотрим это на примере.
Допустим, мы имеем дело с ЦОД на 150 стоек мощностью 7 киловатт каждая. Общая мощность ИТ-оборудования составит 1050 киловатт. Мощность старшей модели фреонового кондиционера составляет 100 киловатт. Следовательно, в охлаждении машинного зала будет задействовано как минимум 11 агрегатов. Но наличие одной резервной машины на 11 рабочих не внесет заметного вклада в надежность системы. Оптимальным является вариант, когда одна резервная машина приходится на 4–7 рабочих. Иными словами, в рассматриваемом примере желательно иметь хотя бы 2 резервных кондиционера.
Организация венткамер
Из примера выше видно, что для ЦОД рассматриваемого масштаба требуется немало кондиционеров. При этом каждый кондиционер нуждается в техническом обслуживании и общем наблюдении. Отдельная ситуация — авария или протечка, когда ремонт агрегата предстоит выполнять непосредственно в машинном зале ЦОД — буквально в метре от ИТ-оборудования в помещении особого класса чистоты.
Чтобы изолировать кондиционеры от серверного оборудования, возникла идея выделить для них отдельное помещение. На большинстве объектов такое помещение называют венткамерой (несмотря на то что непосредственно вентиляционных агрегатов в нем нет).
На рис. 6 представлена планировка ЦОД с кондиционерами, размещенными в венткамере. Поскольку кондиционеры традиционно размещают в ряд вдоль стены, то помещение венткамеры оказывается узким и вытянутым вдоль одной из стен машинного зала. У обоих помещений общие фальшпол и фальшпотолок. Кондиционер всасывает горячий воздух из фальшпотолка и нагнетает охлажденный воздух под фальшпол.
Ширина венткамеры не регламентируется и обуславливается сервисной зоной кондиционера и элементарным удобством работы обслуживающего персонала.
Охлаждение помещений ИБП
Для ЦОД среднего размера характерна организация отдельного помещения для источников бесперебойного питания (ИБП) и аккумуляторных батарей. Эти помещения также относятся к числу критически важных и требуют точного и надежного поддержания микроклимата. Как результат, помещения ИБП также оборудуются прецизионными кондиционерами.
В помещениях ИБП обычно устраивают фальшпол с такой же высотой, как и в машинном зале ЦОД. Это позволяет использовать шкафные прецизионные кондиционеры с выдувом воздуха под фальшпол.
Задача охлаждения ЦОД всегда подразумевает и охлаждение помещения ИБП. При оценочном расчете тепловыделения в помещении ИБП можно принимать в размере 8–10% мощности серверного оборудования ЦОД.
Данная оценка основана на том, что КПД ИБП составляет 94–96%, то есть тепловыделения от ИБП для серверного оборудования составляют 4–6%. Кроме того, отдельные ИБП устанавливаются для инженерного оборудования ЦОД, они также добавляют тепла. Некоторое количество тепла выделяется электрическими щитами и иным оборудованием.
Так, для рассмотренного выше примера ЦОД на 150 стоек мощностью 7 киловатт каждая общей мощностью 1050 киловатт получим тепловыделения в помещении ИБП в размере 100 киловатт. В помещении ИБП также должен присутствовать резервный кондиционер, поэтому имеет смысл рассмотреть три варианта выбора кондиционеров:
- Два кондиционера холодильной мощностью 100 киловатт — один рабочий и один резервный.
- Три кондиционера холодильной мощностью 50 киловатт — два рабочих и один резервный.
- Четыре кондиционера холодильной мощностью 34 киловатт — три рабочих и один резервный.
Очевидно, что каждый следующий вариант, с одной стороны, приводит к закупке меньших мощностей (200, 150 и 134 киловатта соответственно), но с другой — увеличивает количество единиц техники, занимаемую площадь… Соотношение стоимости решения и достигаемого уровня надежности, как правило, показывает, что оптимальный вариант — установка трех кондиционеров по 50 киловатт.
Кондиционеры для помещения ИБП также могут быть установлены в отдельное помещение — венткамеру. Пример планировки помещения ИБП с кондиционерами в венткамере приведен на рис. 7.
Планировка для реального ЦОД
В качестве примера рассмотрим одну из реально разработанных концепций охлаждения машинного зала ЦОД на 234 стойки мощностью 5 киловатт каждая (рис. 8) и помещения ИБП, в котором установлены источники бесперебойного питания, аккумуляторные батареи и электрощитовое оборудование (рис. 9).
Общая мощность стоек составляет 1170 киловатт, чистая холодильная мощность каждого кондиционера — 99,6 киловатта. Необходимое количество кондиционеров равно 11,7, после округления в большую сторону получаем 12. На 12 рабочих агрегатов принято 2 резервных. Таким образом, общее количество кондиционеров, обслуживающих машинный зал ЦОД, составляет 14 штук. Для удобства обслуживания кондиционеры вынесены в отдельное помещение — венткамеру (рис. 8).
Тепловыделение помещения ИБП составляет 115 киловатт. Для его охлаждения установлены 3 кондиционера с чистой холодильной мощностью по 62 киловатта. Две единицы оборудования являются рабочими, третья — резервная. Ввиду отсутствия места кондиционеры установлены непосредственно в помещении ИБП (рис. 9).
Помещения машинного зала и ИБП расположены на разных этажах. В помещении машинного зала предусмотрены фальшпол высотой 1 метр и кондиционеры с нижним выдувом. В помещении ИБП фальшпол отсутствует, используются кондиционеры с нижним фронтальным выдувом непосредственно в помещение.
Для охлаждения ЦОД принята чиллерная система. В системе один контур, без промежуточных теплообменников. Холодоноситель — 40%-ный раствор этиленгликоля в воде. Гидравлический расчет и арматура подобраны исходя из выбранного холодоносителя.
Время автономной работы при отключении электричества составляет 10 минут. Для обеспечения такой автономии требуется бак-аккумулятор объемом 20 кубических метров. При этом с целью сокращения объема бака-аккумулятора принят двойной прогон холодоносителя в системе.
Общая холодильная мощность системы составляет 1,5 мегаватта. Выработку такого количества холода обеспечивают 4 холодильные машины по 520 киловатт каждая, одна из которых является резервной.
О деталях проделанных расчетов и проработки вышеизложенной концепции охлаждения ЦОД будет рассказано в следующих материалах цикла статей, посвященного вентиляции и кондиционирования центров обработки данных.
Заключение
Центры обработки данных средних размеров включают от 50 до 200 ИТ-стоек. Концепция охлаждения подобных объектов разрабатывается, исходя из средней мощности стоек и их количества на каждом мощностном уровне. Если уровней несколько, то для каждого из них рекомендуется предусмотреть наиболее эффективный вариант кондиционирования.
Для охлаждения средних по размеру ЦОД в основном применяются прецизионные шкафные и внутрирядные кондиционеры. При этом система кондиционирования имеет ряд особенностей, в частности в отношении резервирования и размещения климатического оборудования.
Источники бесперебойного питания, как правило, занимают отдельное помещение, в котором также следует предусматривать прецизионное кондиционирование. Логика принятия решений и формирования планировки для помещений ИБП аналогична машинным залам ЦОД.
