Журнал «Мир климата» начинает серию публикаций, посвященных системам кондиционирования и вентиляции центров обработки данных (ЦОД). За последние 15–20 лет такие системы сформировали самостоятельный сегмент на рынке климатического оборудования.
Что такое ЦОД?
Центры обработки данных (ЦОД, дата-центр) — это объекты (помещения) для серверного — вычислительного, телекоммуникационного и прочего — оборудования. Для более полного понимания, что же такое ЦОД, сравним его с обычным ноутбуком. Пользовательский ноутбук оснащен процессором, оперативной памятью, видеокартой, жестким диском. Его производительность, объем памяти и другие характеристики соизмеримы с потребностями одного человека.
Но как бы выглядел ноутбук крупной компании? Ноутбук глобального почтового или облачного сервиса, ноутбук для анализа климата Земли? Очевидно, характеристики такого «ноутбука» должны в сотни тысяч раз превышать параметры пользовательского компьютера. Центр обработки данных и можно назвать таким «ноутбуком», занимающим обычно отдельное здание. Помещения такого здания, заполненные ИТ-оборудованием, называют автозалами, машинными залами или серверными.
Как выглядит ЦОД?
В ноутбуке все элементы — процессор, память, видеокарта — размещены в едином корпусе. В ЦОД каждый элемент настолько велик, что одни только процессоры могут занимать несколько шкафов. Отдельными рядами будут стоять объединенные в сеть промышленные жесткие диски, по соседству — телекоммуникационное оборудование («сетевая карта» ЦОД), рядом — видеосерверы («видеокарта» ЦОД)…
Для унификации все серверное оборудование в ЦОД имеет ширину 19 дюймов (482,6 миллиметра) и устанавливается в 19-дюймовые стойки. Фактическая ширина стоек, как правило, составляет 600, 750, 800 или 1000 миллиметров. В зазорах по бокам оборудования прокладываются кабели. Глубина стойки обычно кратна 50 миллиметрам и варьируется в диапазоне 600–1200 миллиметров. Высота стоек — от 0,5 до 2,5 метров. Чаще всего —2 метра.
Справедливости ради отметим, что в последнее время набирают популярность альтернативные форматы стоек. Самый известный среди них — Open Compute Project, предложенный FaceBook.
Итак, автозал ЦОД — это помещение с рядами 19-дюймовых стоек, в которых смонтировано ИТ-оборудование, обвязанное сетевыми (информационными) и питающими (электрическими) кабелями (рис. 1).
Масштабы ЦОД
Формально центром обработки данных можно назвать любое помещение с ИТ-оборудованием. На практике термин ЦОД применяется только к крупным объектам. Мелкие помещения обычно называют серверными. Размер объекта определяется количеством стоек. Четкой границы между ЦОД и серверной нет.
Как правило, помещения с числом стоек до 50 именуются серверными, автозалами или машинными залами. При числе стоек от 50 до 200 могут использоваться все четыре термина — ЦОД, серверная, автозал, машинный зал. Когда стоек больше 200, речь идет уже о крупных ЦОД. Одна из тенденций последних лет — появление «мега-ЦОД» на несколько тысяч стоек.
Внутренняя архитектура ЦОД
На первых порах стойки в помещениях устанавливались беспорядочно и охлаждались обычными сплит-системами. С ростом мощностей и количества стоек беспорядочность стала носить катастрофический характер, так как к стойкам нужен подход спереди и сзади для монтажа и сервиса ИТ-оборудования. Кроме того, воздух от кондиционера не доходил до некоторых стоек, и оборудование в них перегревалось.
Так сформировалась рядная архитектура ЦОД. Все стойки в ЦОД устанавливаются боком друг к другу и образуют ряды. У стоек определились фронтальная и тыльная стороны. ИТ-оборудование также имеет переднюю сторону и устанавливается так, чтобы передняя сторона оборудования была доступна через переднюю дверь стойки, а тыльная сторона — через тыльную дверь. В каждый конкретный ряд выходят только тыльные или только передние стороны стоек. То есть в соседних рядах стойки расположены навстречу друг другу (рис. 2).
Проход, в который выходят передние стороны стоек, называется холодным коридором. В него подается охлажденный воздух от кондиционеров, который потом поступает на вход в серверное оборудование. Серверное оборудование прогоняет воздух через себя, нагревает его и выбрасывает с тыльной стороны. Таким образом, в проходе с задними сторонами стоек накапливается нагретый воздух. Этот проход называется горячим коридором. Из горячего коридора воздух подается на вход кондиционеров для последующего охлаждения.
Сколько тепла выделяет ЦОД?
Основной источник теплоизбытков в ЦОД — серверное оборудование. Традиционно емкость ЦОД измеряется числом стоек и средней мощностью стойки, а не количеством ИТ-оборудования.
На первых порах мощность стойки составляла 1–2 киловатта, сегодня эта величина выросла до 5–7 киловатт. Существуют высокомощные стойки на 100 киловатт и более.
Сравним эти цифры с жилыми и офисными объектами. Как известно, для электроснабжения одной квартиры или частного дома выделяется 5–10 киловатт энергии, по особому согласованию можно увеличить норму, например, до 20 киловатт. В ЦОД те же 20 киловатт запросто могут быть «съедены» лишь одной стойкой из 100 подобных.
Небольшие ЦОД выделяют до 300 киловатт тепла, средние — до 1 мегаватт, крупные — до 5 мегаватт. Мощность мега-ЦОД может превышать 20 мегаватт.
При рядной архитектуре стойка занимает 2–3 квадратных метра. При средней мощности 7 киловатт удельные тепловыделения составят около 3 киловатт на квадратный метр. В жилых и офисных объектах эта величина, как правило, находится в диапазоне от 100 до 200 ватт на квадратный метр.
Особенности ЦОД и требования к их охлаждению
Часть особенностей ЦОД перечислена выше: это повсеместное использование стоек, рядная архитектура и высокая абсолютная и удельная мощность. Но это еще не все.
Серверное оборудование предъявляет более высокие требования к точности поддержания температуры. Поэтому для производства 1 киловатта холода кондиционерам для ЦОД требуется больший расход воздуха, чем бытовым кондиционерам. Циркуляция воздуха в ЦОД осуществляется быстрее, чем в офисах. Если в офисах и квартирах скорость воздуха составляет 0,1–0,2 метра в секунду, то в ЦОД доходит до 1 метра в секунду.
Поскольку в автозалах не предполагается постоянное присутствие людей, требования к скорости воздуха, уровню шума и градиентам температуры для них намного мягче, чем для рабочих мест.
Центры обработки данных функционируют круглосуточно, являясь при этом объектами повышенной важности. Первое означает, что система кондиционирования ЦОД должна работать круглосуточно, а второй фактор повышает требования к надежности. Обеспечение объекта холодом должно быть непрерывным даже в самые жаркие дни. Кроме того, при частичном выходе системы кондиционирования из строя охлаждение должно оставаться полноценным. То есть в системе охлаждения ЦОД всегда должны быть резервные элементы.
Большинство серверного оборудования чувствительно к пыли и иным загрязнениям. Поэтому к чистоте воздуха в автозалах предъявляются более жесткие требования.
Параметры микроклимата в ЦОД
На вопрос, какую температуру и влажность следует поддерживать в ЦОД, сегодня нет однозначного ответа. Виной тому — быстрое развитие отрасли, изменение взглядов на архитектуру систем охлаждения ЦОД, тенденции к повышению энергоэффективности СКВ ЦОД…
На начальном этапе развития дата-центров чаще всего приходилось иметь дело с требуемой температурой 18—22°C и относительной влажностью 40–60%. В 2008 и 2011 годах выпускались директивы ASHRAE (Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), согласно последней из которых рекомендуемый диапазон температур в машинном зале ЦОД составляет 18—27°C, относительная влажность — не выше 60% при точке росы не ниже 5,5°C и не выше 15°C. Более подробно о данной директиве, а также о рекомендуемом и допустимых диапазонах рассказывалось в статье «Развитие директивы ASHRAE о микроклимате центров обработки данных», опубликованной в журнале «Мир климата» № 71.
На сегодня в большинстве случаев актуален диапазон температур 18—27°C, рекомендуемая влажность — 40–60%. Поскольку градиент температур в автозалах — более 10°C, важно отметить, что речь идет о температуре и влажности на выходе из кондиционера, то есть в холодном коридоре или на входе в ИТ-оборудование. Наиболее часто встречающиеся параметры воздуха при расчете кондиционеров в программах — 24°C/50%.
С целью снижения энергозатрат в ряде случаев проектировщики стремятся обоснованно завысить температуру в ЦОД. Кроме того, некоторые производители разрабатывают ИТ-оборудование, работающее при более высоких температурах, что также позволяет повысить рабочую температуру кондиционеров. Эти и другие частности будут рассмотрены в будущих статьях.
Почему в ЦОД применяются именно прецизионные кондиционеры
Собственно, ответ на вопрос, почему в ЦОД используются именно прецизионные кондиционеры, вытекает из особенностей дата-центров и требований к СКВ ЦОД. Объединим все причины в едином списке.
- Прецизионные (от фр. pr’ecision — точность) кондиционеры способны более точно поддерживать заданную температуру и влажность воздуха.
- Возможность поддерживать не только температуру, но и влажность воздуха.
- Наличие более мощной системы фильтрации по сравнению с обычными кондиционерами.
- Способность к непрерывной и круглогодичной работе, в том числе в зимнее время.
- Форм-фактор прецизионных кондиционеров — это, как правило, шкафные напольные блоки, разработанные с учетом особенностей ЦОД: рядной архитектуры, наличия холодных и горячих коридоров, повышенной удельной тепловой мощности.
- Широкие возможности резервирования: возможность резервирования кондиционеров, функция горячего ввода резерва, резервирование трубопроводов и подключение к разным энерговводам.
- Более широкие возможности по программированию контроллера, отображению информации, объединению блоков в единую сеть.
- Повышенная мощность: холодопроизводительность одного кондиционера — от 6 до 200 киловатт.
- Широкий выбор вариантов исполнения кондиционеров: фреоновые, водяные, гликолевые, комбинированные; конденсаторные блоки как с воздушным, так и водяным охлаждением…
Конечно, в малых серверных на несколько стоек мощностью не более 5 киловатт можно применить бытовые и полупромышленные кондиционеры. Охлаждение остальных ЦОД строится исключительно на базе прецизионного оборудования. Внешний вид прецизионного кондиционера представлен на рис. 3.
Уровни надежности ЦОД и СКВ ЦОД
В зависимости от допустимого времени простоя ЦОД выделяют 4 уровня надежности, которым должна соответствовать каждая инженерная система объекта. Характеристики уровней надежности и соответствующие требования к системе кондиционирования приведены в табл. 1.
Уровень надежности является важнейшей характеристикой будущей системы кондиционирования. Сегодня чаще всего проектируются ЦОД уровня надежности Tier III.
Кондиционирование вспомогательных помещений в ЦОД
В средних и крупных центрах обработки данных помимо автозалов имеются и другие помещения, требующие кондиционирования. В зависимости от их типа применяется то или иное климатическое оборудование (табл. 2).
Особого внимания заслуживает помещение ИБП, в котором установлены промышленные источники бесперебойного питания для серверного оборудования. Для их охлаждения также применяют прецизионные кондиционеры.
В настоящее время внешний вид промышленных ИБП мало отличается от серверных стоек — это шкафы, устанавливаемые в ряд боком друг к другу. Они имеют фронтальную и тыльную стороны, которые образуют соответственно холодные и горячие коридоры. Таким образом, по архитектуре помещения ИБП аналогичны автозалам, аналогична и методика их охлаждения.
Что необходимо знать для построения системы кондиционирования ЦОД
Для проектирования системы кондиционирования ЦОД необходимо прежде всего узнать количество стоек, их среднюю мощность, требуемую температуру и влажность, уровень надежности ЦОД.
Далее следует запросить планировку ЦОД с расстановкой стоек. Это позволит оценить свободное место и предварительно наметить места для кондиционеров.
Особого внимания заслуживают высокомощные стойки. Если они равномерно распределены по залу, то, вероятно, с их охлаждением справится общая система кондиционирования машинного зала. Если же они сконцентрированы в одном месте, то более выгодным видится установка отдельных мощных кондиционеров для этой группы.
Планировка также покажет, установлены ли ИБП в машинном зале или же расположены в отдельном помещении. В первом случае их охлаждение будет осуществлено кондиционерами автозала, во втором случае потребуются отдельные блоки системы кондиционирования.
При наличии на объекте бросовой или технической воды возможным вариантов отвода тепла могут быть конденсаторы с водяным охлаждением.
Первый пример
Рассмотрим конкретный пример укрупненного подбора оборудования для кондиционирования ЦОД. Допустим, перед нами стоит задача охлаждения ЦОД на 120 стоек средней мощностью 6 киловатт. ИБП установлены в отдельном помещении, их тепловыделение составляет 50 киловатт. Требуемый уровень надежности ЦОД — Tier III, параметры микроклимата 24°C/50%.
Итак, холодильная мощность кондиционеров в автозале должна составлять 720 киловатт, в помещении ИБП — 50 киловатт, везде должны быть предусмотрены резервные единицы. Рассмотрим два варианта систем кондиционирования. Первый на базе фреоновых кондиционеров, второй — на базе чиллеров.
В первом варианте видится возможным установить 9 кондиционеров холодопроизводительностью по 90 киловатт (8 рабочих и один резервный). Для помещения ИБП следует предусмотреть рабочий и резервный кондиционеры холодильной мощностью по 50 киловатт. На каждый кондиционер подбирается конденсаторный блок. Резервирование осуществляется на уровне системы. Подбор конкретных моделей кондиционера и конденсатора выполняют с помощью программы расчета из условия обеспечения выходной температуры 24°C и влажности 50%.
Во втором случае речь идет о чиллерной системе с гликолевым контуром. Количество и мощности кондиционеров можно оставить теми же, но при их расчете важно учесть процент гликоля в холодоносителе. Таким образом, для работы внутренних блоков требуются два чиллера (рабочий и резервный) холодильной мощностью 820 киловатт. Более экономичным видится вариант использования трех чиллеров по 410 киловатт (2 рабочих, 1 резервный). Также требуется зарезервировать магистральные трубопроводы между чиллерами и внутренними блоками и циркуляционные насосы.
Этот пример позволяет понять общую логику подбора оборудования для кондиционирования ЦОД. В дальнейших публикациях вопросы будут рассмотрены более глубоко и применительно к различным объектам — малым, средним и крупным ЦОД с акцентом на организацию воздухообмена в машинных залах.
