Аббревиатуру МЦОД расшифровывают и как мобильные, и как модульные центры обработки данных. При этом зачастую правильными оказываются обе формулировки, поскольку многие контейнерные ЦОД являются мобильными и модульными одновременно. У таких объектов есть ряд особенностей, находящих свое отражение в устройстве систем кондиционирования.
В большинстве случаев МЦОД представляют собой небольшие дата-центры емкостью до 10 ИТ-стоек. Такие объекты представляют собой не помещение внутри здания, а отдельно стоящее здание, как правило, контейнерного типа — это или заводской транспортный 40‑футовый контейнер, или быстровозводимая постройка из сэндвич-панелей.
Антагонисты
Анализ рынка показывает, что мобильные ЦОД строят там, где не строят обычные дата-центры. Если скопление классических ЦОД наблюдается в Москве и Санкт-Петербурге, то мобильные ЦОД в большинстве случаев открываются в регионах, зачастую — удаленных.
Причин тому несколько: в мегаполисах земля стоит дорого, и строить контейнерные дата-центры невыгодно. Кроме того, в больших городах велик спрос на услуги ЦОД, а потому выгоднее строить крупные объекты. Мобильные дата-центры относятся к разряду небольших и призваны обеспечивать работу серверного оборудования вне крупных городов.
По данным издания «ЦОДы.РФ», рынок мобильных дата-центров с 2014 по 2018 год вырос более чем в 3 раза — с 13 млн до 48 млн евро.
В отличие от обычных, в мобильных ЦОД вычислительная и инженерная инфраструктуры размещаются в едином пространстве. Внутренних стен практически нет. Вместо них легкие перегородки, причем в роли условной стены часто выступает ряд стоек. Таким образом, в МЦОД образуются три помещения — тамбур, холодный коридор и горячий коридор.
Из всего разнообразия прецизионных кондиционеров для охлаждения мобильных дата-центров подходят моноблочные кондиционеры, прецизионные сплит-системы и внутрирядные кондиционеры. Кроме того, возможны решения на базе технологий свободного охлаждения.
Моноблочные кондиционеры в МЦОД
Моноблочный кондиционер представляет собой агрегат, выполненный в едином корпусе и предполагающий установку у наружной стены МЦОД, как правило, в дальних от тамбура концах холодного и горячего коридоров.
У такого кондиционера все элементы холодильного контура, в частности испаритель и конденсатор, размещены в одном корпусе. При этом испаритель обдувается внутренним воздухом, а конденсатор — наружным. Чтобы это реализовать, сам блок приходится устанавливать тыльной стороной к наружной стене, а в самой стене при этом предусматривать два отверстия — для забора и выдува наружного воздуха, который нужен для охлаждения конденсатора. Схема и внешний вид прецизионных моноблочных кондиционеров представлены на рисунке 1.
Мощность моноблочных кондиционеров обычно не превышает
Итак, моноблочные прецизионные кондиционеры применяются в мобильных ЦОД малой мощности, разворачиваемых, например, на выездах при проведении съемок фильмов, при строительстве отдаленных объектов или на удаленных базовых станциях сотовой связи.
Прецизионные сплит-системы в мобильных ЦОД
Прецизионные сплит-системы оснащаются внутренними блоками кассетного типа. В один мобильный ЦОД свободно устанавливаются до четырех таких сплит-систем, при необходимости их число может быть увеличено до восьми. Внутренние блоки при этом монтируются в ряд под потолком в холодном коридоре и выдувают холодный воздух вертикально вниз. Наружные блоки устанавливают на торце контейнера. Внешний вид прецизионных сплит-систем представлен на рисунке 2.
Обычно на торце контейнера помещается до четырех наружных блоков, но если задействовать обе торцевые стенки, то их количество может быть увеличено до восьми. Мощность одной сплит-системы достигает 17 киловатт, а общая мощность МЦОД может достигать 80 киловатт, что является достаточной величиной для большинства задач, решение которых возлагается на МЦОД.
Отверстия для забора воздуха у прецизионных сплит-систем расположены на боковых сторонах кондиционера. Чтобы внутренние блоки имели возможность забирать нагретый воздух из горячего коридора, в перегородке между коридорами предусматривают отверстия и к ним присоединяют воздуховоды. Другой конец воздуховодов присоединяется к всасывающим отверстиям внутренних блоков кондиционеров. Таким образом, сплит-системы забирают воздух из горячего коридора, охлаждают его и подают в холодный коридор.
Среди возможных проблем выделим сложности при расстановке наружных блоков на торцевой стене, когда выполнение абсолютно всех требований производителя к расстояниям между ними может оказаться невозможным. В этом случае рекомендуется обратиться к представителям производителя с эскизами системы и фактическими зазорами между блоками. В большинстве случаев производитель подтвердит возможность работы таких систем, но с небольшим снижением холодильной мощности. Проектную мощность МЦОД следует принимать на основе тех цифр, которые предоставит и заверит производитель.
Внутрирядные кондиционеры в МЦОД
Внутрирядные кондиционеры представляют собой блоки, устанавливаемые непосредственно в ряду стоек. Внешне они напоминают стойки, но прокачивают воздух из горячего коридора в холодный. Стойки, как известно, прокачивают воздух из холодного коридора в горячий. Таким образом, с участием стоек и кондиционеров образуются короткие контуры циркуляции, и необходимость в отверстиях в перегородке над стойками отпадает.
Мощность внутрирядных кондиционеров достигает
При монтаже внутрирядных кондиционеров может возникнуть все та же проблема расстановки наружных блоков. Методика ее решения аналогична решению подобной проблемы для прецизионных сплит-систем. Внешний вид внутрирядных кондиционеров представлен на рисунке 3.
Фрикулинг в МЦОД
Одним из наиболее эффективных и неприхотливых вариантов охлаждения мобильных ЦОД является фрикулинг. Действительно, у системы фрикулинга нет наружных блоков, она может поместиться в подпотолочном пространстве и не занимать полезную площадь контейнера. Кроме того, фрикулинг потребляет заметно меньше электроэнергии, что немаловажно в «походных» условиях, в которых зачастую приходится работать мобильным центрам обработки данных.
Конструкция мобильных ЦОД подразумевает очевидную и простую реализацию режима свободного охлаждения. Через холодный коридор прокладывается воздуховод, соединяющий горячий коридор и улицу. На концах воздуховода следует установить клапаны с электроприводами, а со стороны улицы предусмотреть еще и фильтр. Далее в нижнюю грань воздуховода, в его середину нужно вмонтировать вентилятор осевого типа и наладить работу автоматики.
Суть работы фрикулинга заключается в следующем. Вентилятор всасывает воздух с обоих концов воздуховода, то есть одновременно из горячего коридора и с улицы. Соотношение этих расходов воздуха регулируется положением заслонок клапанов, которыми посредством электроприводов управляет система автоматики фрикулинга. Цель такого регулирования — подача воздуха заданной температуры в холодный коридор.
При похолодании наружная заслонка будет постепенно закрываться, а объем рециркуляции повышаться. При повышении наружной температуры, наоборот, объем рециркуляции будет снижаться, а расход наружного воздуха возрастать.
Как известно, все инженерные системы ЦОД должны быть зарезервированы, и фрикулинг не исключение. Именно поэтому в МЦОД предусматривают как минимум две системы свободного охлаждения. На практике их количество достигает
Пример расчета фрикулинга
Как показывает практика, специалисты по климатическим системам хорошо представляют себе, как будет выглядеть система охлаждения МЦОД на базе прецизионных кондиционеров, и гораздо хуже ориентируются в области фрикулинга. Чтобы прояснить этот вопрос, мы приведем расчет фрикулинга для МЦОД мощностью Q = 80 киловатт.
Для рассматриваемого МЦОД примем разность температур между горячим и холодным коридорами ΔT = 10°C. Тогда расход воздуха в системе охлаждения должен быть не менее
G = k · Q / (с · ρ · ΔT) = 3600 · Q / (1,005 · 1,2 · ΔT) = 24 000 кубических метров в час, где
· k = 3600 — коэффициент для перевода часов в секунды;
· с = 1,005 кДж/(кг·°C) — средняя теплоемкость воздуха;
· ρ = 1,2 кг/м3 — средняя плотность воздуха.
Так как длина воздуховодов будет малой (не более
S = G / (k · v · n) = 24 000 / (3600 · 8 · 3) = 0,28 квадратного метра.
Такое проходное сечение обеспечивает воздуховод размером, к примеру, 700×400 мм. Таким образом, для охлаждения МЦОД мощностью 80 киловатт достаточно предусмотреть три рабочие и одну резервную системы фрикулинга с воздуховодами сечением 700×400 миллиметров.
Особенности фрикулинга в МЦОД
Реализация режима свободного охлаждения в мобильных центрах обработки данных имеет ряд особенностей.
1. Необходимость дублирования фреоновой системой кондиционирования. Фрикулинг не охлаждает воздух, а лишь смешивает потоки рециркуляционного и наружного воздуха. В связи с этим он не будет справляться с охлаждением МЦОД при повышении наружной температуры выше +15…+20°C. На случай более теплых дней на объекте должна быть предусмотрена классическая фреоновая система охлаждения. Казалось бы, это недостаток фрикулинга, однако ниже мы увидим, что в МЦОД не могут быть применены только фреоновые системы. Таким образом, любой мобильный ЦОД должен включать системы охлаждения обоих типов.
2. Опасность выпадения конденсата. В мобильных ЦОД практически не применяются системы охлаждения с увлажнением. Это связано с малым объемом внутренних помещений объекта и высокими скоростями воздуха в них. В таких условиях высока вероятность уноса капель воды в помещение и их последующего попадания в серверные стойки, что недопустимо.
3. Удобный доступ к секции фильтрации. Требование сменяемости фильтров актуально для всех систем свободного охлаждения, однако в МЦОД сложнее обеспечить удобный доступ к ним ввиду его компактности. Обычно рассматриваются два решения: доступ изнутри и доступ снаружи. В первом случае секция фильтрации устанавливается в воздуховоде внутри МЦОД и обслуживается аналогично секции фильтрации обычных канальных систем вентиляции. Однако фильтр будет занимать некоторое пространство внутри контейнера, плюс к нему нужен доступ. Во втором случае секцию фильтрации устанавливают в стене МЦОД, а доступ к ней обеспечивают с улицы путем снятия наружной решетки. В этом случае фильтр не занимает места в контейнере, но наружная решетка должна иметь быстросъемную конструкцию, а фильтр, вероятнее всего, окажется нестандартным изделием.
4. Сброс лишнего воздуха. Фрикулинг обеспечивает постоянный приток наружного воздуха, а это значит, что должен быть и сброс воздуха наружу. Классические вытяжные системы в МЦОД не предусматривают. Вместо этого в горячем коридоре устанавливают наружные решетки с регулируемыми клапанами или гравитационные наружные решетки. В первом варианте при работе фрикулинга автоматически приоткрываются вытяжные клапаны и воздух выходит наружу. Во втором варианте жалюзи решеток приоткрываются избыточным давлением внутри МЦОД. Каждый из вариантов имеет свои преимущества и недостатки. Так, при использовании клапана процесс вытяжки поддается регулированию, но любой из механизмов может выйти из строя. При использовании гравитационных решеток процесс происходит автоматически и является нерегулируемым. При этом в зимнее время вытяжной воздух будет растапливать снег, который может скопиться на решетке, что, в свою очередь, грозит ее обмерзанием. Замерзшая гравитационная решетка должным образом работать не будет.
5. Теплоизоляция воздуховодов. В зимнее время внутри воздуховода системы фрикулинга будет находиться холодный воздух, что может привести к выпадению конденсата на внешней поверхности. В связи с этим воздуховод должен быть полностью теплоизолирован.
Аварийное охлаждение МЦОД
Мобильные дата-центры отличаются компактностью и малым объемом внутреннего пространства при высоких теплоизбытках. В таких условиях любая авария системы кондиционирования может стать фатальной для серверного оборудования.
Действительно, представим, что МЦОД мощностью 80 киловатт из нашего примера имеет габариты 2,5×2,5×12 метров. Объем его составит V = 75 кубических метров. Если принять среднюю начальную температуру воздуха в МЦОД равной T1 = 20°C, а критическую температуру T2 = 60°C, то такой нагрев займет всего
t = V · ρ · (T2 — T1) · c / Q = 75 · 1,2 ·
и это притом что штатное время сворачивания приложений и выключения серверного оборудования составляет примерно
Данный пример наглядно показывает, насколько быстро нагревается воздух в мобильном ЦОД без охлаждения. Единственный способ избежать перегорания серверного оборудования заключается в организации аварийного продува МЦОД наружным воздухом. Такие системы в обязательном порядке должны предусматриваться во всех МЦОД, однако их функцию могут выполнять системы фрикулинга, и это является значимым преимуществом последних. Фактически речь идет о том, что МЦОД с фреоновыми кондиционерами все равно должны оснащаться системой фрикулинга на случай отказа штатных систем охлаждения.
Точность поддержания температуры
На реальных объектах наблюдается интересная картина в плане точности поддержания температуры в холодном коридоре МЦОД при работе системы фрикулинга и фреоновых кондиционеров: точность при использовании последних заметно ниже.
Здесь следует разделить точность поддержания температуры при использовании неинверторных и инверторных фреоновых кондиционеров. Неинверторные кондиционеры работают на полную мощность, но так как они подобраны с запасом (или мощность ЦОД ниже номинальной), через некоторое время они захолаживают воздух и отключаются. После их отключения температура воздуха внутри МЦОД начинает возрастать — до тех пор, пока кондиционер не включится вновь. С течением времени выясняется, что температура «гуляет» по синусоиде с амплитудой 8—10°C.
Инверторные системы кондиционирования обеспечивают плавное регулирование холодопроизводительности, однако ввиду особенностей регулирования парокомпрессионного холодильного цикла и малого объема помещения температура все равно «гуляет», но в меньшем диапазоне — 3—5°C.
А вот хорошо настроенная система свободного охлаждения показывает идеальную точность поддержания температуры. На изменение положения заслонок не накладывается каких-либо ограничений: их можно «подкручивать» как угодно мало и как угодно часто. На «живом» объекте корректирующие воздействия формируются едва ли не ежесекундно (на самом деле с целью увеличения срока службы оборудования в штатной ситуации предусматривают тайм-аут
Зимний комплект
Мобильные дата-центры устанавливают вдали от крупных городов и зачастую в северных регионах — там, где плотность населения относительно мала, а поддерживать функционирование некоторого объекта все-таки надо. В таких условиях незаменимым оказывается наличие низкотемпературного комплекта, и практически все производители МЦОД оговаривают возможность его установки.
Низкотемпературный комплект предусматривает увеличенный ресивер, подогрев картера компрессора и некоторые другие функции. Наиболее распространенным является решение для обеспечения работы кондиционеров при температурах до —55°C.
Отопление МЦОД
Еще одна интересная особенность МЦОД — необходимость наличия отопительных приборов. Дело в том, что мобильные ЦОД представляют собой отдельно стоящие здания, и в определенные периоды ИТ-стойки могут быть заполнены серверным оборудованием, которое при этом будет выключено или работать при очень низкой нагрузке.
В холодное время года тепловыделений МЦОД может не хватить даже для того, чтобы поддерживать тепло внутри контейнера. На этот случай МЦОД должны быть оснащены отопительными приборами. Обычно это электрические конвекторы мощностью
Примеры реальных мобильных ЦОД
Компания GreenMDC выпускает мобильные дата-центры разной мощности и масштаба с различными системами охлаждения. Например, МЦОД CUBiC вмещает до 6 ИТ-стоек шириной 600 миллиметров, мощностью от 1 до 20 киловатт каждая. Для отвода теплоизбытков на выбор заказчика могут быть предусмотрены моноблочные, колонные или внутрирядные прецизионные кондиционеры, устанавливаемые с таким расчетом, чтобы один кондиционер оставался резервным (так называемая схема резервирования N+1). Наружные блоки (при их наличии) размещаются на торце контейнера (рис. 4).
Компания Utilex предлагает мобильные ЦОД DataStone+mobile на базе 40‑футовых контейнеров. В них возможна установка от 1 до 8 ИТ-стоек. Система кондиционирования реализуется на базе прецизионных кондиционеров Clever Breeze, объединенных со шкафами в отдельные модули, что приводит к образованию холодного и горячего коридоров. Кроме того, она включает систему замкнутого ультразвукового увлажнения. Компоновка ЦОД DataStone+mobile представлена на рисунке 5.
Компания Telecore разработала несколько контейнерных дата-центров: Databox-E, Databox-F, Databox-DX и Databox-S. В них используются три различные архитектуры систем охлаждения: прецизионные сплит-системы, полупромышленные канальные кондиционеры и прецизионные моноблочные кондиционеры. Максимальная допустимая мощность серверного оборудования составляет 110 киловатт, наиболее широкий температурный режим эксплуатации — от —50 до +50°C. Часть линейки оснащена системами свободного охлаждения.
Компания ISO-Energo предлагает МЦОД различной компоновки и масштаба (рис. 7). Типовая конфигурация предусматривает установку от 1 до 6 стоек в стандартном транспортном контейнере. В зависимости от мощности серверного оборудования применяются системы охлаждения на базе сплит-систем (не всегда прецизионных) и внутрирядных кондиционеров. Наружные блоки могут быть установлены на торце или на кровле контейнера.
Заключение
Мобильные центры обработки данных представляют собой отдельный сегмент рынка ЦОД и имеют ряд особенностей. Среди них — малый объем помещений, высокие удельные теплоизбытки, быстрый перегрев оборудования при аварии в системе охлаждения. Все это диктует ряд требований к системам охлаждения — применение компактных кондиционеров, устройство аварийной системы проветривания, ряд требований к системе фрикулинга. Устройство фреоновой системы охлаждения и фрикулинга позволяет избежать перегрева МЦОД в случае аварии и сэкономить на затратах электроэнергии в холодное время года и межсезонье.
Юрий Хомутский, технический редактор журнала «Мир климата»
