Данная статья — попытка собрать наиболее частые ошибки, встречающиеся в проектах систем кондиционирования и вентиляции центров обработки данных, и пояснить истинную логику рассуждений, которой следовало бы руководствоваться при ведении проекта, расчете мощности холодильного оборудования, его подборе и расстановке. В разное время эти ошибки были совершены автором данного обзора или обнаружены им у других исполнителей и со временем превратились в своеобразный чек-лист успешного проекта.
Ошибка № 1. Экономия на проектной команде
Любой заказчик и генподрядчик стремится оптимизировать бюджет. Один из путей экономии — выбор дешевой проектной организации, у которой к тому моменту еще нет реализованных проектов в области ЦОД.
Дело в том, что в среднем по рынку удельная стоимость проектирования ЦОД на
Безусловно, холодильный контур везде один, но нюансов его применения много. В коттеджах ставится цель — обеспечить тишину и сохранить дизайнерский интерьер. В магазинах главное — зонирование и учет технологического оборудования. В кафе — распределение воздуха и обслуживание кухонного цеха. В ЦОД — распределение воздуха, высокие теплоизбытки, совершенно другое климатическое оборудование, необходимость в резервировании, зимний режим. И это далеко не полный перечень особенностей кондиционирования дата-центров.
Итак, при выборе проектной организации крайне желательно, чтобы у нее уже был успешный опыт проектирования дата-центров — слишком велика разница в подходах к проектированию ЦОД и других объектов.
Ошибка № 2. Сжатые сроки
Верный способ получить плохой проект СКВ ЦОД — выделить на его разработку мало времени. Центр обработки данных — это, по сути, отдельный и почти независимый организм внутри здания. Но почему-то его рассматривают лишь как одно из помещений — офис или кладовку. Выделить на проектирование здания полгода кажется нормальным, а на проектирование ЦОД или серверной, как говорится, и месяца много.
На самом деле проектирование ЦОД подразумевает проектирование всех инженерных систем — охлаждения, электроснабжения, безопасности, автоматизации, ИТ‑инфраструктуры и других. Все они должны быть взаимоувязаны между собой, соответствовать по производительности, не накладываться друг на друга, и на это требуется время.
Проектирование даже небольшой серверной занимает не менее месяца, проектирование крупного ЦОД — не менее полугода. Безусловно, речь не идет о
Ошибка № 3. Спроектировать до завтра по новому ТЗ
Данный пункт вытекает из предыдущего — если в силу тех или иных причин сменилось техническое задание на проектирование, то соразмерно глубине изменений должен сместиться и срок выдачи проекта. Проведя анализ всех прошлых проектов, можно с уверенностью сказать, что самые простые, порой глупые ошибки возникали именно по причине изменений технического задания при сохранении старых сроков — поменять все, но мгновенно.
Интересно отметить, что чаще всего задание меняется на финальной стадии проектирования. В тот момент, когда вы
овывается окончательный вид системы кондиционирования, у заказчика вдруг возникают новые пожелания, которые ради сохранения хороших отношений с ним не должны повлечь изменения сроков.
С одной стороны, заказчика можно понять. Выдавая ТЗ, он представлял себе ЦОД несколько иначе, чем специалисты, которые учитывают в ходе проектирования гораздо больше факторов. С другой стороны, новое ТЗ — это новый проект и новое время на его реализацию.
Ошибка № 4. Учет не всех теплоизбытков в помещении
При кажущейся простоте подбор кондиционеров для ЦОД таит в себе несколько опасностей. «Суммарная мощность кондиционеров должна быть равна мощности ИТ‑оборудования в машинном зале», — можно услышать от начинающих инженеров. На этапе предпроекта (концептуального проектирования) такой подход, быть может, и допустим, но при подготовке рабочего проекта следует проводить гораздо более точный расчет.
Одна из ошибок, связанных с теплоизбытками в машинных залах ЦОД, заключается в том, что инженеры могут забыть обо всех остальных теплопритоках в помещении и учесть только тепло от ИТ‑оборудования. Действительно, тепло от серверов — наиболее значимое слагаемое в сумме теплоизбытков, но ведь теплопритоки через ограждающие конструкции, от вентиляции и освещения никто не отменял — их также следует учитывать.
Величина ошибки здесь зависит не столько от мощности ЦОД, сколько от его площади, и она особенно велика в небольших серверных, так как в них доля теплопритоков, приходящаяся на серверное оборудование, не так значительна, как в крупных ЦОД. В среднем величина ошибки составляет
Ошибка № 5. Чистая холодопроизводительность кондиционера
Раньше в каталогах прецизионных кондиционеров для каждой модели указывали всего два значения холодопроизводительности — полную и явную. О том, что в расчете нужно использовать не полную, не явную, а чистую холодопроизводительность, инженер-проектировщик должен был догадаться самостоятельно. В последние годы производители упростили задачу инженерам и стали указывать величину чистой холодопроизводительности отдельной строчкой.
Суть ошибки сводится к тому, что мощность системы охлаждения определяется по сумме явных холодильных мощностей. Однако мощные прецизионные кондиционеры комплектуются мощными вентиляторами (рис. 1), которые, по сути, являются теплоизбытком в данном помещении, а при расчете теплоизбытков их не учитывают.
Решения два: или учитывать мощность вентиляторов в качестве теплоизбытка, или принимать холодильную мощность кондиционера, равную явной холодопроизводительности за вычетом мощности вентилятора, — это и будет так называемая чистая холодопроизводительность прецизионного кондиционера. Обычно идут по второму пути.
Величина ошибки в среднем составляет
Ошибка № 6. ИТ‑оборудование работает на 100%
В дата-центре 300 стоек по 6 кВт, следовательно, общая мощность объекта составляет 1,8 МВт, и именно эта цифра идет в расчет системы кондиционирования.
На самом деле абсолютно все ИТ‑оборудование редко бывает загруженным на 100%. Чаще всего либо часть, либо все оборудование в ЦОД работает не на полную мощность. На величину загрузки влияет, например, время суток — днем нагрузка выше, чем ночью.
При отсутствии информации от заказчика загрузку ИТ‑оборудования принимают равной 80%. Таким образом, для указанного ЦОД мощностью 1,8 МВт систему охлаждения следует рассчитывать исходя из тепловыделений от ИТ‑оборудования в размере 1,8×80% = 1,44 МВт.
И еще один нюанс — период выхода дата-центра на проектный режим работы. Часто этот период растягивается во времени и может составлять от полугода до полутора лет (рис. 2). На это время для экономии энергоресурсов в системе охлаждения следует предусматривать режим частичной холодопроизводительности.
Для этого в малых серверных обычно устанавливают инверторные кондиционеры. В больших машинных залах можно запроектировать неинверторные модели. Для регулирования общей холодопроизводительности в этом случае достаточно отключить часть кондиционеров и оставить в работе ровно столько, сколько нужно в данный момент времени, плюс один резервный.
Ошибка № 7. Не учли ИБП
В дата-центрах высокие теплоизбытки имеет не только ИТ‑оборудование, но и ИБП (источники бесперебойного питания), через которые оно запитывается. КПД современных ИБП — около 96%, а значит, оставшиеся 4% мощности ЦОД превращаются в тепло еще до того, как эта мощность дойдет до серверов. И эти 4% представляют собой теплоизбытки, которые должны быть отведены системой кондиционирования ЦОД.
На практике данная ошибка чаще встречается на этапе концептуального проектирования. «Для ЦОД мощностью 1000 кВт нужна система охлаждения холодильной мощностью 1000 кВт», — логично думают инженеры и предусматривают 10 кондиционеров чистой холодопроизводительностью по 100 кВт каждый. Но помимо теплоизбытков, о которых речь шла выше, следует помнить еще о 40 кВт — тех, которые выделит ИБП.
Ошибка № 8. Экономия на бренде
После выполнения всех необходимых расчетов и определения мощности прецизионных кондиционеров возникает соблазн выбрать дешевое оборудование или поставщиков, предложивших наилучшую цену, без оглядки на другие факторы. На самом деле одной лишь стоимости недостаточно для выбора поставщика. Нужно как минимум убедиться в его компетентности, а также уточнить сроки поставок запасных изделий и комплектующих.
Суть рекомендации проста — в случае поломки одного из кондиционеров потребуются выезд специалиста, анализ неисправности, закупка нового исправного элемента. Сможет ли поставщик обеспечить быстрый ремонт прецизионных кондиционеров? Есть ли в России представительство производителя кондиционеров? Быстро ли осуществляется доставка какой бы то ни было детали, входящей в состав кондиционера? При выборе поставщика на все три вопроса должен быть получен ответ «да».
Стоит понимать, что в центрах обработки данных поломка кондиционера рассматривается не как аварийная, а как штатная ситуация, и она должна быть отработана максимально быстро. В идеале на объекте должен быть сформирован ЗИП (запчасти, инструменты, приспособления). Допустимо, чтобы ЗИП был в наличии у поставщика или производителя. И недопустимо, чтобы ремонт вышедшего из строя блока длился несколько месяцев, большую часть которых специалисты ждали доставки запчасти из Европы или Китая.
Ошибка № 9. Забыли про зиму
Теплопритоки поступают и летом, и зимой в любое помещение, но на большинстве объектов теплопотери через ограждающие конструкции настолько велики, что помещение остывает и его нужно прогревать — так возникают системы отопления. Однако в центрах обработки данных теплопритоки настолько велики, что зимой потери тепла не перекрывают их, и машинные залы ЦОД нужно охлаждать даже в холодное время года.
Это означает, что для кондиционирования ЦОД должна быть спроектирована круглогодичная система охлаждения — для фреоновых кондиционеров должны быть предусмотрены зимние комплекты, для водяных систем — режим фрикулинга. Причем подбор оборудования должен вестись не по параметрам Б, а по наименьшей температуре или согласно заданию на проектирование. Для Москвы часто принимают —40°C — именно на такую температуру должены быть рассчитаны низкотемпературный комплект для фреоновых кондиционеров и гликолевый раствор в чиллерной системе.
Ошибка № 10. Размещение кондиционера близко к напольным решеткам
Как ни странно, наибольший риск перегрева в машинных залах ЦОД наблюдается не у дальних от кондиционера стоек, а у ближних к нему. Ответ кроется в физических основах воздухораспределения. Кондиционер выдувает воздух с достаточно высокой скоростью. Фактически он нагнетает его в дальнюю часть зала, и именно там кинетическая энергия наиболее полно преобразуется в потенциальную — скорость воздуха преобразуется в повышение его давления.
Проходимость воздуха через напольные решетки холодных коридоров зависит именно от давления воздуха под полом. Так как это давление выше в дальнем от кондиционера углу, то и воздух наиболее интенсивно выходит из-под пола именно там. Ближайшие к кондиционеру решетки воздух в буквальном смысле «проскакивает», а благодаря эффекту эжекции даже подсасывает воздух из помещения.
Таким образом, минимальное расстояние от кондиционера до первой напольной решетки должно быть не менее 1200 миллиметров (2 плитки фальшпола). На практике в правильно спроектированных ЦОД оно часто составляет
Еще одно решение — установка активных напольных решеток. Они представляют собой решетки со встроенным вентилятором, который принудительно прокачивает воздух из-под фальшпола в холодный коридор (рис. 3). Такие решения отличаются более высокой надежностью и более широкими возможностями регулирования.
Кстати, ситуация с перегревом ближнего, а не дальнего оборудования возникает и внутри холодного коридора. Холодный воздух дует из-под фальшпола и «проскакивает» нижние юниты серверных стоек. Как результат, наиболее эффективно охлаждаются верхние юниты. Именно поэтому при размещении ИТ‑оборудования наиболее мощное оборудование не рекомендуется устанавливать вниз — обеспечить достаточность его охлаждения будет весьма проблематично.
Ошибка № 11. Неверная архитектура СКВ или отсутствие зонирования
Для ИТ‑стоек различной мощности применяют кондиционеры разного типа. Так, шкафные кондиционеры без дополнительных решений хорошо охлаждают стойки мощностью до 7 кВт. Впрочем, даже в таких ЦОД рекомендуется изолировать холодный или горячий коридор (по современным представлениям, лучше горячий). Внутрирядные кондиционеры эффективно справляются с теплоизбытками до 30 кВт на стойку и выше.
В машинных залах с той или иной средней мощностью стоек должна быть предусмотрена соответствующая архитектура системы охлаждения. В машинных залах со стойками различной мощности следует распределять высоконагруженные стойки равномерно по залу или же выделять их в отдельный кластер, где предусматривать специальные решения для их охлаждения.
Ошибка № 12. Забыли про сервисные зоны оборудования и арматуры
Проблема с сервисными зонами чаще встречается в уже действующих ЦОД, в свободные углы машинных залов которых сгружают все то, что кажется лишним в остальной части здания. Подобраться к кондиционерам, уже не говоря о том, чтобы открыть дверцы, зачастую весьма проблематично. Впрочем, проблема актуальна и на новых объектах.
Решение проблемы требует несколько более широкого подхода, чем просто предусмотреть сервисные зоны вокруг блоков. Данные зоны располагаются перед фронтальной стороной кондиционера и обычно равны площади основания этого кондиционера. Речь идет еще и о том, чтобы не создавать возле кондиционеров «укромных уголков» — потенциальных зон складирования сторонних предметов.
Если есть возможность установить кондиционер в углу — лучше сделать именно так, чем оставить там 0,5 квадратных метра для прочих нужд. Если есть возможность придвинуть кондиционер вплотную к колонне — лучше сделать именно так, чем оставить зазор. При этом, конечно, в первую очередь следует соблюдать общие требования к расстановке кондиционеров, а потом уже бороться с «укромными уголками».
Наконец, сервисные зоны есть не только у кондиционеров, но и у арматуры, насосов, датчиков, измерительных приборов и других элементов системы. К каждому из них должен быть доступ, возможность увидеть показания, при необходимости заменить. В идеале они должны располагаться на удобной высоте — от 800 до 2000 миллиметров от уровня пола, а не у пола или под потолком.
Ошибка № 13. Комплектация кондиционеров
Заказ прецизионных кондиционеров отличается определенной сложностью. Здесь недостаточно указать нужную модель, необходимо также перечислить дополнительное оборудование. Например, регулируемая рама-основание должна входить в комплект поставки на подавляющем большинстве объектов.
Далее дисплей для контроллера. В машинном зале рекомендуется хотя бы два кондиционера оснащать контроллерами с дисплеем. Одного может не хватить в случае выхода кондиционера из строя, а оснащение дисплеями всех блоков представляется избыточным.
Для прецизионных сплит-систем может пригодиться выносной графический дисплей. Его наличие позволит контролировать параметры работы системы в удобном месте. Также понадобится пароувлажнитель для поддержания требуемой влажности в ЦОД. Обычно достаточно одного увлажнителя на несколько блоков. Рекомендуется заказывать штатный датчик протечки — это проще, чем придумывать собственную систему контроля протечек. Возможны и другие виды дополнительного оборудования, его перечень следует запросить у производителя.
Ошибка № 14. Рамы для чиллеров, основания для насосов
Рамы-основания для кондиционеров можно заказать у производителя оборудования, а вот рамы и основания для чиллеров, насосов, выносных конденсаторов и другого оборудования — повод для создания отдельного листа в проекте на системы кондиционирования ЦОД, так называемого строительного задания.
Конструкция рам и оснований разрабатывается проектировщиками по металлоконструкциям или строителями. Для этого в проекте марки «ОВ» должно быть предусмотрено строительное задание на их разработку с указанием массы оборудования, расположения точек опоры и зон обслуживания.
Кстати, в данное строительное задание следует включить и большие отверстия, которые, вероятно, потребуется пробить для прокладки коммуникаций. Обычно следует перечислять все отверстия размером 600×600 миллиметров и более. Такие отверстия не редкость, особенно если речь идет о фрикулинге. Отверстия в полу можно указывать, даже если они меньшего сечения, — на многих объектах выполняют усиленные перекрытия, пробивка которых требует специального инструмента и навыков работы с ним.
Заключение
Центры обработки данных — особые объекты со множеством специфических требований. Проектирование СКВ ЦОД следует поручать профессионалам и помнить, что ЦОД — это объект внутри объекта и на его проектирование должно быть выделено почти столько же времени, сколько и на проектирование здания.
Юрий Хомутский,
технический редактор журнала «Мир климата»
