Модульные ЦОДы в России: дата-центр спрятался от кризиса в «коробку. Готовый модульный ЦОД «под ключ Модульный центр обработки данных

Появление технологии создания дата-центра (ДЦ) на базе морского контейнера в уже далеком 2007 году не привлекло особого внимания экспертов: решение представлялось не просто нишевым, а, скорее, экспериментом, который мог позволить себе один из лидеров мирового ИТ-рынка.

Однако новинка оказалась востребована, поскольку решала задачу оперативного развертывания небольшого, но высоконадежного ДЦ. Конкуренты оценили удачный ход, что обусловило появление нового класса ДЦ, т. н. мобильных ДЦ. В отличие от традиционных ДЦ, которые размещаются в обычных зданиях из бетона и кирпича, эти решения поставляются в виде готовых изделий и могут устанавливаться и эксплуатироваться даже под открытым небом.

Естественным развитием этого направления стало появление нового класса ДЦ — модульных ДЦ (Modular Datacentre, MDC). Технология их создания позволяет оперативно строить и масштабировать развернутый объект, а затем наращивать его до уровня крупных ДЦ. По оценкам экспертов, от момента подписания договора до сдачи в эксплуатацию классического ДЦ с площадью 250-300 кв. м уходит от 7-8 месяцев до 1 года. Для аналогичного модульного ДЦ, благодаря тому, что все его элементы являются типовыми, время на проектирование, поставку, монтаж и ввод в эксплуатацию сокращается до 3-5 месяцев.

Контейнерные и модульные ДЦ перестали быть нишевым видом бизнеса, вышли из тени и стали существенным фактором роста всего рынка ДЦ сравнительно недавно, на рубеже 2009-2010---  гг. Распространение модульных ДЦ, увеличение количества не пилотных, а запущенных в коммерческую эксплуатацию объектов — одна из существенных тенденций мирового рынка ДЦ по итогам 2012 г.

От контейнера к модулю

Рассматривая известные определения модульного ДЦ, можно выделить несколько толкований: под термином «модульный» (modular data center, containerized data center, containerized modular data centers) могут скрываться разные по функциям и возможностям системы или решения 1 .

На первом этапе концепция модульных ДЦ традиционно была привязана к морским контейнерам (типоразмер ISO) и рассматривалась как функционально полный ДЦ, размещенный в стандартном металлическом корпусе. Однако развитие концепции модульности постепенно вышло за рамки понятия «контейнерные ДЦ». Вместе с тем последние до сих пор не утратили своего значения и остаются востребованными в различных отраслях экономики.

Поскольку единая терминология не сформировалась, ее пока нет и в нормативной базе. В экспертном сообществе рассматриваются несколько вариантов понятия «модульного ДЦ», при этом все они исходят из предположения, что такие ДЦ строятся на основе контейнерной базы. То есть, по определению IMS Research, предварительно смонтированной, полностью закрытой мобильной оболочки, в которой размещены ВСЕ подсистемы инфраструктуры ДЦ 2 .

По мере развития концепции большинство экспертов стало склоняться к иному взгляду на модульные ДЦ. Этот подход предполагает возможность предварительного монтажа и тестирования инженерных и ИТ-подсистем ДЦ в контейнер, который представляет собой металлическую конструкцию в форме прямоугольного параллелепипеда произвольных, но стандартизованных вендором размеров. В качестве примера можно привести решение HP-Flexible Data Center, в котором ДЦ формировался из четырех функциональных блоков (контейнеров), соединяемых с помощью центрального узла.

Еще один подход основывается на том, что базой модульного ДЦ может быть любое замкнутое пространство, в том числе и контейнер (стандартизованный или нет). Модульность такого ДЦ обусловлена тем, что все подсистемы инфраструктуры ДЦ монтируются из стандартных блоков, модулей, предварительно изготовленных и протестированных на заводе-изготовителе. Данные блоки стыкуются как внутри одного типа, так и со всеми другими типами, что позволяет масштабировать как конкретную подсистему, так и ДЦ в целом. Такая универсальность относится и к аппаратуре, и к ПО. В целом можно предположить, что не все модульные ДЦ располагаются в контейнере, однако большинство контейнерных ДЦ относятся к классу модульных ДЦ.

Появление контейнерных, а затем и модульных ДЦ дало толчок к формированию новой парадигмы создания ДЦ, т. н. Data Center 2.0 . По мнению ее авторов, она провозглашает отход от традиционного варианта строительства ДЦ, который базировался на бизнес-модели ДЦ как здания, помещения, сдаваемого в аренду. Новая концепция позволяет рассматривать ДЦ как элемент ИТ, своеобразный программно-аппаратный комплекс, с помощью которого клиентам предлагаются различные услуги.

Экономика вопроса

Преимущества модульных ДЦ существенны: мобильность в плане доставки готового изделия, быстрота развертывания за пределами производственного участка, аутсорсинг дизайна и потенциальная экономия налогов.

По оценкам компании 451 Research, использование модульных ДЦ в большинстве случаев обеспечивает снижение затрат на строительство, а экономия капитальных затрат в этом случае составит от 10 до 30  %. Согласно расчетам специалистов компании «Техносерв», модульный ДЦ обходится в 1,5-2 раза дешевле арендованной или приобретенной площадки. Однако если у заказчика есть собственное помещение, в котором не надо делать усиление перекрытий, капитальный ремонт, другие строительные работы, то стоимость сопоставима, либо модульное--- решение будет на 10-15  % дороже.

По данным Schneider Electric, использование модульного подхода обеспечивает снижение капитальных и операционных затрат на 2-7 долларов в пересчете на 1 Вт мощности ДЦ. С этими выводами совпадает и оценка Forrester, согласно которой традиционная схема создания ДЦ мощностью 2 МВт потребует затрат порядка 127,4 млн долларов, а ДЦ, реализованный по модульной схеме, обойдется в 77,1 млн долларов 3 . В среднем, по оценкам экспертов, в 2012  г. модульный ДЦ в расчете на 1 МВт стоил заказчику 6 млн долларов без учета доставки и пусконаладочных работ.

Компания DCD intelligence провела сравнение затрат на создание ДЦ мощностью 4 МВт в США (рис.   1) . По ее расчетам, создание традиционного ДЦ обойдется заказчику на 13-14% дороже, нежели модульный вариант. Основное преимущество достигается за счет снижения затрат на монтаж и наладку оборудования. Следует обратить внимание, что непосредственно оборудование и ПО для модульного ДЦ существенно дороже.

Рис.1. Сравнение затрат на создание ДЦ мощностью 4 МВт в США, цены в долларах США, по состоянию на 01.01.2013 г. Источник: DCD Intelligence

Несомненным достоинством модульного ДЦ является фабричная сборка, которая позволяет устранить большинство технологических дефектов до отправки модуля заказчику. При этом модульные ДЦ имеют высокую информационную и физическую безопасность, а системы мониторинга, поставляемые в комплекте, уже базируются на DCIM-решениях.

Очевидно, что концепция модульности предполагает стандартизацию решений: это создает основу для повышения качества и надежности блоков и дальнейшего снижения эксплуатационных расходов. Кроме сжатых сроков развертывания, другим преимуществом является его высокая масштабируемость: модульное решение минимизирует капитальные затраты на первом этапе, а в дальнейшем дает возможность наращивать мощность ДЦ без существенных переделок инженерной инфраструктуры.

Экономия энергии

К достоинствам модульных ДЦ следует также отнести высокие значения энергоэффективности как для отдельных модулей, так и для модульного ДЦ в целом. Это обусловлено тем, что уже на этапе проектирования такого дата-центра конструкторы оптимизируют энергопотребление и теплоотвод всех его компонентов с учетом возможностей конструкции.

Практические измерения показали, что применение модульной конструкции дает существенное повышение энергоэффективности и позволяет добиться значительной экономии средств. Например, в ДЦ IO Phoenix по итогам 2012 года коэффициент PUE той части, где используется фальшпол, составил 1,73, в то время как среднегодовой PUE модульной части составил 1,41. Для США (штат Аризона) это выражается в ежегодной экономии в 200  000 долларов/1 МВт мощности ИТ-оборудования 4 . Представители компании отмечают, что модульная часть ДЦ превзошла аналог с фальшполом отчасти благодаря уникальной конструкции модулей, которая обеспечивает управление воздушными потоками на порядок эффективнее, чем в случае с использованием для этой цели горячих и холодных коридоров. Пожалуй, единственное энергоэффективное решение, которое пока невозможно использовать в модульных ДЦ, — колесо Kyoto Cooling: его размеры не вписываются в габариты известных модулей.

Сценарии использования

Даже с учетом рассмотренных ниже ограничений и сомнений при внедрении модульных ДЦ это решение наверняка востребовано в двух случаях: при необходимости оперативной замены существующего ДЦ или возведении нового в условиях ограниченных площадей (резервный ДЦ, ДЦ в удаленном филиале компании). Другая область использования модульных ДЦ — услуга colocation. Строить масштабный ДЦ, не обладая уверенностью в том, что его площади будут востребованы, — огромный риск для провайдера. Модульная технология обладает маневренностью и позволяет минимизировать капитальные затраты именно на старте.

При размещении нового ДЦ мало кто из проектировщиков предполагает, что через 2-3 года после его ввода в коммерческую эксплуатацию может возникнуть ситуация, требующая перемещения ДЦ в другой район или даже регион. В случае со стационарным ДЦ его переезд рискует превратиться для хозяев в ад кромешный. В случае же с модульным ДЦ разборка/сборка и перемещение займут минимальное время, причем переезд можно оптимизировать: вводить/выводить ДЦ «помодульно».

Модульные ДЦ справляются практически безболезненно и с такой проблемой, как повышение энергопотребления аппаратуры в стойках и необходимость увеличить теплоотвод: сама конструкция предусматривает оперативное изменение параметров размещаемой аппаратуры.

Проблемы внедрения модульных ДЦ

Кроме несомненных достоинств, эксперты отмечают и ряд ограничений при строительстве модульных ДЦ: в некоторых случаях их цена сводит преимущества на нет по сравнению с традиционными ДЦ. Кроме того, у многих вендоров нет единого подхода к стандартизации блоков и непосредственно модулей, что иногда становится причиной возврата потенциальных клиентов к традиционному решению. Тем не менее, IMS Research считает, что неминуемая стандартизация продукции и рост объемов производства в перспективе позволят существенно снизить себестоимость модульных ДЦ.

Определенным барьером следует считать консервативность мышления заказчика. Например, профилактическое и регламентное техническое обслуживание понятны клиенту. Но как поведет себя новинка в случае отказа оборудования? Очевидно, при необходимости ремонта стандартная инфраструктура не вызовет затруднений, но проблемы, которые могут возникнуть в случае ремонта в модульном ДЦ, способны поставить заказчика в тупик, тем более что своими силами ему вряд ли удастся оперативно устранить неисправность. В результате возникает неприятная проблема зависимости от вендора.

Если говорить о крупных и очень крупных ДЦ, например, принадлежащих таким грандам, как Microsoft, Google или Amazon, то здесь возможности и достоинства модульных ДЦ делают их предпочтительным вариантом как с учетом масштабируемости, так и оптимизации затрат. Но если речь идет о проектируемом небольшом ДЦ, например, с потребляемой мощностью 200-300 кВт, то выбор в пользу инновационного решения по меньшей мере не очевиден.

Другой критерий — площадь строящегося ДЦ. По оценкам экспертов, порог рентабельности для модульных ДЦ пока находится на уровне 200-250 кв.  м. Таким образом, и по критерию «мощность», и по критерию «площадь» речь идет о средних или крупных ДЦ, а для небольших ДЦ оптимально непосредственное строительство.

Будущим владельцам модульных ДЦ следует учесть трудность их адаптации под нестандартное оборудование, например, массивы Hi-End с нестандартными форм-факторами и нетипичными требованиями к системе охлаждения. Интегрировать подобное оборудование в модульный ДЦ в ряде случаев непросто: это может потребовать дополнительного уточнения проекта. Известен паллиатив, когда стандартные серверы размещаются в модульном ДЦ, а нестандартные устанавливаются в ДЦ, построенном по классической схеме.

В 2012 г. Uptime Institute провел среди ИТ-специалистов опрос, попытавшись выяснить существенные, по их мнению, недостатки модульных решений. Наибольшее число респондентов (35   %) сообщили, что предложения вендоров недостаточны гибкие и не удовлетворяют их требованиям (рис.   2) . Еще 33   % считают, что пока модульные ДЦ слишком дороги. 32   % опрошенных отмечают небольшой срок службы таких решений, 30   % указывают на новизну технологии и отсутствие достаточного количества реализованных проектов, а 27   % недовольны тем, что решения «залочены» производителем. Кроме того, 15   % респондентов сетуют на небольшой выбор продуктов, а 12   % не устраивает размер блоков.

Рис. 2. Результаты опроса Uptime Institute среди ИТ-специалистов Источник: Uptime Institute, 2012

Краеугольный вопрос любого проекта — срок окупаемости. Большинство экспертов считает, что определяющими факторами для срока окупаемости является бизнес-модель и условия развертывания. Также имеет значение целевое назначение модульного ДЦ: будет ли он использоваться как коммерческий или в качестве ведомственного ЦОД?

Поставщики модульных ДЦ

Спектр поставщиков модульных ДЦ и их компонентов необычайно широк. Здесь присутствуют вендоры, для которых модульные ДЦ являются основным видом бизнеса; поставщики элементов инженерной инфраструктуры классических ДЦ и ИТ-решений; а также компании, предоставляющие услуги ДЦ.

К числу первых относятся: AST Modular, BladeRoom Group Ltd, Cannon Technologies, COLT Technology Services, Datapod, Flexenclosure, Elliptical Mobile Solutions, IO Datacenters, MDC Stockholm, NxGen Modular и Silver Linings Systems.

Основными игроками второго сегмента являются Schneider Electric и Emerson Network Power. Среди вендоров, поставляющих на рынок ИТ-решения, наиболее известны: Dell, HP, IBM, Cisco, SGI, Huawei, Google, Toshiba, Bull.

В фокусе данного обзора — компании, относящиеся к первым двум группам (см. таблицу) .

Наименование компании / Страна	Специализация компании	Адрес сайта	Основной продукт / Модуль	Наличие представи-тельства в РФ Дистрибьюторы / Дилеры в РФ
AST Modular /Испания	Модульные ДЦ
BladeRoom Group Ltd / Великобритания	Модульные ДЦ		BladeRoom System
Cannon Technologies / Великобритания	Модульные ДЦ		Cannon T4 Modular Data Centres
COLT Technology Services / Великобритания	Провайдер услуг ДЦ, поставщик модульных ДЦ
Flexenclosure / Швеция	Поставщик модульных ДЦ
Elliptical Mobile Solutions / США	Микромо-дульные ДЦ		Micro-Modular Data Center™
IO Data Centers / США	Модульные ДЦ
MDC Stockholm /Швеция	Модульные ДЦ
NxGen Modular / США	Модульные ДЦ
Silver Linings Systems / США	Модульные ДЦ
Emerson Network Power / США	Вендор инфраструк-туры ДЦ		SmartRow, SmartAisle, SmartMod
Schneider Electric / Франция	Вендор инфраструк-туры ДЦ		Data Center Module, Facility Power Module, Air Cooling Module, Water Cooling Module
Rittal / Германия	Вендор инфраструктуры ДЦ

Таблица. Перечень основных игроков рынка модульных ДЦ, по состоянию на 01.10.2013 г. Источник: данные компаний

AST Modular

Испанская инжиниринговая компания выпускает линейку модульных ДЦ в ISO-контейнерах типоразмеров 10", 20", 40" и 53". Возможны два варианта исполнения. В первом варианте размещаются ИТ-подсистема и все подсистемы инженерной инфраструктуры, включая подсистему пожаротушения. Для второго разработаны два модуля: IT Unit и Power Unit. К стойкам, размещаемым в IT Unit, может быть подведено 3-40 кВт, в контейнере 40" может быть размещено до 19 стоек. Инфраструктура позволяет обеспечить высокую надежность ДЦ — вплоть до уровня Tier IV. Решение именно этой компании выбрано «Вымпелкомом» для ДЦ в Ярославле .

BladeRoom Group Ltd

Компания поставляет модульный ДЦ под брендом BladeRoom system. На основе модуля возможно построить ДЦ с площадью от 600 до 60  000 кв. м, при этом система теплоотвода обеспечивает подводимую мощность от 1,0 до 24 кВт/стойка (воздушное охлаждение). Инженерная инфраструктура BladeRoom system позволяет организовать ДЦ с различными уровнями надежности, Tier II-IV. В последнем случае используются два независимых энерговвода, ИБП конфигурируются до 2N, дизель-генераторы — также до 2N. Система вентиляции поддерживает температуру ИТ-оборудования в модуле в диапазоне 18-24 °C. Компания гарантирует заказ, поставку и пусконаладку модульного ДЦ (120 стоек) за 12 недель.

COLT Technology Services

Компания из Великобритании известна как поставщик услуг ДЦ в Европе. Для реализации модульных ДЦ она предлагает решение под брендом Colt ftec data centre. В состав решения входят модули Colt spaceflex, Colt powerflex, Colt coolflex. Площадь ИТ-модуля Colt spaceflex варьируется в диапазоне 125-500 кв. м. Модуль энергоснабжения обеспечивает питание мощностью до 3 кВт/ кв. м, или до 230 кВт/ряд стоек при 25 кВт/стойка. Последнее внедрение компании анонсировано в июле 2013 г. в Нидерландах . Здесь на площади порядка 1000 кв. м дополнительно установлены модули компании, подведенная мощность 1,6 МВт, до 20 кВт/стойка при гарантированном PUE 1,21.

Flexenclosure

Компания Flexenclosure — шведский вендор, который разрабатывает и производит быстросборные модульные ДЦ, а также элементы электроэнергетической инфраструктуры (в первую очередь для телекоммуникационной отрасли). Решение eCentre — быстровозводимый модульный ДЦ для размещения и запитки серверного и телекоммуникационного оборудования. Он оптимизирован для повышения энергоэффективности и минимизации совокупной стоимости владения. Модульный ДЦ eCentre включает в себя инфраструктуру электропитания, охлаждения и безопасности.

Elliptical Mobile Solutions

Elliptical Mobile Solutions основана в 2005   г. и занимает особое положение среди поставщиков модульных ДЦ. Компания специализируется на т.   н. микромодульном уровне (уровне стойки) и выпускает два основных продукта: R.A.S.E.R. HD и R.A.S.E.R. DX. Оба устройства представляют собой функционально законченные ДЦ. Модуль R.A.S.E.R. DX — блок, в котором могут быть установлены 42 ИТ-ус-тройства с суммарной потребляемой мощностью не более 12 кВт. Модуль R.A.S.E.R. HD также обеспечивает установку 42 ИТ-устройств, однако их суммарная потребляемая мощность может быть в диапазоне 20-80 кВт, что обеспечивается водяной системой охлаждения. При этом производитель анонсирует PUE устройства не выше 1,1 (!).

IO Datacenters

Компания IO Datacenters предлагает инфраструктурные модули и ПО для создания модульных ДЦ. Продуктовая линейка IO.Anywhere имеет три вида модулей: CORE, EDGE и ECO.

IO.Anywhere CORE включает три типа модулей: до 18 стоек 50U, до 50 стоек 50U и силовой модуль, обеспечивающий работу информационного модуля с потребляемой мощностью до 600 кВт. В комплект поставки всех модулей включен программный комплекс для управления распределением энергии и теплоотводом.

IO.Anywhere EDGE включает два типа модулей: до семи стоек 50U для решения ИТ-задач и инфраструктурный модуль для размещения подсистем бесперебойного питания, охлаждения и пожаротушения.

MDC Stockholm

Компания из Швеции предлагает решение на основе функционально независимых модулей (серверный модуль, модуль охлаждения, модуль бесперебойного питания, модуль управления).

NxGen Modular

Компания NxGen Modular основана сравнительно недавно, в 2009 г., однако среди ее заказчиков можно найти и Microsoft, и Apple (ДЦ в г. Прайнвиль, штат Орегон, США). Компания поставляет как компоненты модульных ДЦ, так и непосредственно модульные ДЦ. Среди основных продуктов компании — ДЦ в контейнере: до 300 кВт для ИТ-систем; энергетический модуль; модуль охлаждения и модуль, интегрирующий подсистемы питания, охлаждения и кабельные телекоммуникационные соединения на общей платформе.

Silver Linings Systems

Компания поставляет модули для ДЦ в двух вариантах: модуль, стандартизованный SLS, и модуль на основе ISO-контейнера. Модули сопрягаются с модулями питания и охлаждения. В первом варианте в один или два ряда может быть размещено от 4 до 10 стоек (45U). Конструкция модуля обеспечивает теплоотвод от стойки в диапазоне 7-35 кВт. В последнем случае в модуле может быть размещено не более четырех стоек.

Второй вариант предполагает использование ISO-контейнеров типовых размеров: 20, 40 или 53 фута. В первом случае модуль состоит из двух контейнеров, в последнем их пять. В модуле может быть размещено от 8 до 50 стоек. Конструкция обеспечивает теплоотвод от стойки при энергопотреблении в диапазоне 7-28 кВт. Модули анонсируются без системы бесперебойного питания, а также без системы пожаротушения. Вероятно, подбор устройств для этих подсистем инженерной инфраструктуры будет выполнять интегратор проекта.

Emerson Network Power

Компания предлагает несколько продуктов (SmartRow, SmartAisle и Smart-Mod) под общим брендом Smart Solutions. SmartRow — функционально законченный модуль открытого исполнения из 3-6 ИТ-стоек, блока охлаждения, блока электропитания и блока пожаротушения. SmartAisle — функционально законченный модуль открытого исполнения, включающий до 40 ИТ-стоек в двухрядном исполнении (20 х 2) при допустимой мощности до 10 кВт/стойка, системы охлаждения и электропитания.

В комплект поставки модулей входит программно-аппаратный комплекс Liebert iCOM controls. Для дистанционного мониторинга и управления элементами инфраструктуры модуля SmartAisle могут быть использованы --системы Avocent, Liebert Nform и Liebert SiteScan.

В отличие от SmartRow и SmartAisle SmartMod представляет группу контейнерно-размещенных модулей, которые позволяют установить внутри контейнера ИТ-систему и системы охлаждения и электропитания. Возможен вариант, когда в отдельном модуле размещается система электропитания.

Для реализации проектов на базе данных продуктов компания предлагает комплекс проектирования SmartDesign. Все комплектующие, на основе которых выполнены эти решения, также изготовлены Emerson Network Power.

Schneider Electric

Компания разработала комплекс модулей и архитектуру ДЦ на их основе. Основные модули: Data Center Module, Facility Power Module (500 кВт), Air Cooling Module (400 кВт) и Water Cooling Module (500 кВт).

Сегмент модульных ДЦ привлекает интерес все большего числа поставщиков инфокоммуникационных продуктов. Например, поставки модульных ДЦ в 2013 году планировала начать компания NEC. Ее разработки будут применяться в крупных стационарных ДЦ. В РФ несколько фирм анонсировали свои продукты для данного сегмента. Первопроходцем была компания «Ситроникс», которая в 2010 г. выпустила на рынок контейнерные ДЦ Daterium. В настоящее время она предлагает Daterium 2 и Daterium 3. В 2013 г. свой модульный проект «ИТ-Экипаж» представила компания «Техносерв».

Внедрение модульных ДЦ началось и на российском рынке. Помимо крупного проекта «Вымпелкома», о котором упоминалось выше, в октябре 2013 г. «Аэрофлот», HP и «Техносерв» объявили о завершении проекта по созданию резервного ЦОД авиаперевозчика. Решение включает в себя продукт компании «Техносерв» — модульный ДЦ «ИТ-Экипаж».

Цифры и факты

Насколько велик потенциал сегмента модульных ДЦ в будущем? Эксперты компании IMS Research, использующие для определения модульных ДЦ не термин modular data center, а containerized data centers (куда включаются и модульные, и контейнерные, и мобильные ДЦ), считают, что поставки containerized data centers в 2013 году вырастут на 40   % по сравнению с 2012 годом. Согласно отчету этой компании, в 2012 г. по сравнению с 2011 г. объем данного сегмента рынка ДЦ практически удвоился.

Контейнерные и модульные решения появились в 2005-2006 гг., но эксперты IMS Research считают, что по существу этот сегмент рынка начал формироваться только в 2011 году. IMS Research предполагает, что Северная Америка будет крупнейшим рынком для модульных ДЦ в 2012 году, но прогнозирует, что поставки в Китай будут ежегодно удваиваться в течение следующих пяти лет в связи с быстрым ростом отрасли ДЦ в регионе и необходимостью оперативного развертывания вычислительных центров. Ряд экспертов, напротив, считает, что наибольший успех ждет модульные ДЦ на развивающихся рынках Азии и Африки.

Меньше оптимизма у экспертов TechNavio. Они предполагают, что в 2012-2016 гг. в США рынок модульных ДЦ будет расти в пределах 11,2  % 5 .

По данным DCD intelligence, наибольший относительный рост объема инвестиций в технологии модульных ДЦ в 2011-2013 гг. был в РФ и Франции (рис.   3) . По-видимому, здесь стоит говорить об относительном, нежели о крупном валовом росте. Тем не менее, российские ИТ-компании в такой ситуации могут попытаться создать собственные решения — даже на базе импортных комплектующих. DCD intelligence предполагает, что в странах BRIC есть определенный интерес к обсуждаемым решениям.

Рис. 3. Относительный рост объема инвестиций в технологии модульных ДЦ, 2011-2013 гг.

Модульный ЦОД - это центр обработки данных, состоящий из типовых элементов системы – модулей. Модуль в единственном исполнении является мобильным ЦОДом, при объединении нескольких таких мобильных ячеек мы получаем модульную систему. Модули могут быть со стойками, с ИБП, со всевозможным вспомогательным оборудованием. Их можно устанавливать и внутри помещений. Монтирование новых единиц происходит по мере роста потребностей.

Модульный контейнеризированный центр обработки данных включает ИТ-оборудование, средства питания и системы охлаждения. Как только стало возможно объединить все это в один контейнер, стали все более распространенными собственные модули от разных поставщиков.

Модульные ЦОДы - это технология, основной целью которой является сокращение и оптимизация издержек на строительство ИТ-инфраструктуры. То, как распределяются инфраструктурные ресурсы в этой модели, во многом напоминает распределение вычислительных мощностей в облаке. Клиент платит именно за тот объём мощностей, который он использует, и в случае чего может относительно легко нарастить или сократить ресурсы. То же самое и с модульным строительством дата-центров: по решению заказчика ресурсы прибавляются и убавляются вполне оперативно и относительно недорого.

Преимущества мобильных центров обработки данных

Мобильные центры обработки данных обладают рядом преимущество по сравнению со стационарными дата-центрами. В первую очередь преимущества модульных ЦОД оценили те, кто ищет катастрофоустойчивые решения, способные работать в любых условиях – мобильные операторы, сырьевой сектор.

Во-вторых, это компании, для которых важна непрерывность бизнеса, а стоимость простоя ИТ-оборудования чрезвычайно высока, например, финансовые и страховые компании, банки.

Ну и в третьих, это поставщики ИТ-услуг, которые ищут пути сокращения капитальных затрат на строительство .

Все познаётся в сравнении, и дешевизна модульных дата-центров становится очевидной, когда они оказываются на разных чашах весов с традиционными. Во-первых, модульные ЦОДы не требуют капитального строительства или дорогостоящего переоборудования существующего помещения. Это настолько мощное преимущество, что оно легко перекрывает сколько-нибудь значимые недостатки. Строителю и заказчику не нужно инвестировать, что называется, «в бетон». Капитальное строительство легко съедает половину бюджета на развёртывание центра обработки данных.

Кроме того, построенные здания или ЦОД, размещённый на арендованных площадях, не отличаются мобильностью. Если у клиента заканчивается срок аренды или возникает необходимость переехать в другой офис, то в случае с капитальным строением это оборачивается инвестиционной катастрофой: приходится вкладывать средства, сопоставимые по размерам со строительством ещё одного ЦОДа. А модульный дата-центр можно просто разобрать и развернуть на любом другом пространстве. К тому же он не привязан к объёму помещения, притом что именно объём объектов коммерческой недвижимости оказывается препятствием к наращиванию ИТ-инфраструктуры.

Схожесть с облачной моделью, о которой говорилось чуть выше, состоит в том, что модульный ЦОД легко масштабируется. Например, у вас есть открытый участок площадью в тысячу квадратных метров. Вы можете возвести модульный ЦОД достаточной мощности на 300 кв. м, а остальную территорию заполнить новыми модулями по мере роста потребностей бизнеса. Такое пошаговое масштабирование позволяет значительно сократить как капитальные, так и операционные расходы .

МЦОДы более эффективны: для них не требуется специальной инфраструктуры, срок возведения составляет около 2-3 месяцев, они мобильны и могут располагаться с источниками дешевой энергии. Кроме того, их можно использовать для расширения мощности стационарных ЦОД.

Если провести сравнительный анализ мобильных и стационарных центров обработки данных, то он будет выглядеть так:

Стационарный ЦОД

Мобильный ЦОД

1. Для развертывания требуется специальное помещение 2. Имеет ограничения в масштабировании. 3. Его сложно передислоцировать. 4. Срок реализации проекта – 1 год. 5. Установка и пуско-наладка центра стационарного центра значительно дороже. 6. Эксплуатационные расходы выше, чем у мобильного центра

1. Для развертывания МЦОД не требуется специального здания, и, следовательно, начальные затраты и эксплуатационные расходы значительно сокращаются. 2. Позволяет развернуть инфраструктуру IT на удаленной площадке 3. Подходит для мобильных офисов или передвижных объектов. 4. Может применятся для расширения инфраструктуры IT (совместно со стационарным центром). 5. Возможность размещения поблизости от дешевых источников энергии, в отсутствии арендной платы за помещении, сохранении инвестиций при переезде или перемещении офиса. 6. Срок реализации проекта 2 - 3 месяца.

Где бы ни размещалось предприятие, вы всегда можете установить там мобильный центр. Наличие готовых решений производства блок-контейнеров, отсутствие или значительное сокращение таких этапов как проектирование инфраструктуры для стационарных ЦОД, согласование проектных решений с надзорными органами, строительство и минимальные требования к подготовке площадки приводят к значительному сокращению сроков поставки и установки МЦОД по сравнению со стационарами центрами.

Тема мобильных центров по обработке данных, или Mobile Data Center (MDC) часто освещается в прессе, как зарубежной, так и российской. Эта вызывает интерес отечественных предпринимателей и специалистов ИТ-индустрии. Мобильные центры обработки данных способны решить целый ряд задач, которые часто встают перед российскими предприятиями, работающими в сфере информационных технологий.

Мобильные центры обработки данных способны решить целый ряд задач, которые часто встают перед российскими предприятиями и организациями, работающими в сфере информационных технологий: необходимость развертывания новых стоек в максимально сжатые сроки или создание новых стоек на короткое время на базе существующих основных и резервных мощностей и компонентов инженерной инфраструктуры при отсутствии помещений либо при несоответствии имеющихся помещений требованиям, предъявляемым к ЦОД.

Кроме того, МЦОД позволяют создать временное серверное помещение в том момент, когда стационарное еще не достроено или не введено в эксплуатацию. Во временном помещении может быть установлено оборудование, которое необходимо для функционирования бизнеса в этот период.

Также в случае нехватки специализированного помещения для размещения ЦОД, или специалистов необходимой квалификации, или стационарных центров обработки данных, обеспечивающих требуемый уровень надежности – оптимальным решением может стать МЦОД. Мобильный ЦОД может применяться для расширения инфраструктуры ИТ. При активной экспансии в регионы или поглощении других компаний филиалы открываются без задержек, а приобретенные активы оперативно интегрируются в единую информационную инфраструктуру.

Среди факторов роста спроса на мобильные центры обработки данных можно назвать увеличение интернет-трафика, важность непрерывной работы интернет-приложений и интеграцию с мировой экономикой. Таким образом, мобильные дата-центры перестали быть нишевым предложением, и стали востребованы не только в полевых условиях, но и в мегаполисах, где не хватает свободных площадей.

«Мобильный ЦОД»: нужен ли он вам?

Существующая в отрасли путаница с трактовкой термина «мобильный ЦОД» способна не только ввести ИТ-директоров в заблуждение, но и привести к выбору неэффективного решения. Происхождение термина Термин «мобильные» ведёт своё происхождение от решений, использовавшихся американскими военными. Эти ЦОДы действительно имели возможность перемещаться с установленным внутри оборудованием и оперативно разворачиваться на новом месте. Размещались такие дата-центры обычно в контейнерах, что впоследствии привело к смешению определений: контейнерные ЦОДы стали отождествлять с мобильными и модульными. Однако существующие «контейнерные решения» имеют со своими военными предшественниками мало общего – большинство из них не могут перевозиться с установленным внутри не только ИТ-, но даже инженерным оборудованием (особенно по российским дорогам). Кому это нужно? Перемещение центра обработки данных – весьма специфическая потребность и вероятность того, что она возникнет у компании, невысока. Если такой переезд и произойдет, маловероятно, что он будет носить форму военной спецоперации .

Среди характеристик «мобильных» ЦОД, большинство клиентов считает ключевыми следующие:

• возможность доставки в удалённые места;
• возможность выбора места (ближе к пользователям, источникам электроэнергии, рядом со зданием);
• сокращение сроков реализации;
• возможность поэтапного наращивания мощности (по требованию);
• возможность перемещения в будущем на новое место эксплуатации.

Именно эти опции и указывают в качестве своих преимуществ производители «мобильных» ЦОД на базе ISO-контейнерных решений. Pre-fabricated ЦОД или мобильный? Важно понимать: помимо контейнерных (или мобильных) решений на рынке существуют pre-fabricated (или собираемые из предварительно произведённых конструкций) ЦОД, которые не просто предоставляют клиентам такие же возможности, но и по ряду ключевых характеристик превосходят «контейнерные ЦОДы».

Pre-fabricated ЦОД дают возможность более гибкого масштабирования (квант масштабирования по стойкам, а не модулям). В pre-fabricated ЦОД отсутствует проблема недоставка сервисного пространства, характерная для «контейнерных» дата-центров. При этом некоторые сборные модульные ЦОД имеют меньшую стоимость транспортировки при большей гибкости и даже скорости доставки, чем «мобильные».

История

2005-2006: Google и Sun создают первые контейнерные ЦОДы

Ранее считалось, что пионером в создании мобильных ЦОДов стала Sun Microsystems выпустив в 2006 г. первый продукт Blackbox. Однако, как стало недавно известно, первопроходцем выступила корпорация Google , которая еще осенью 2005 г. создала свой первый дата-центр на базе 45 контейнеров, каждый из которых содержал 1160 серверов и потреблял 250 Квт электроэнергии. Плотность мощности составляла 780 Вт на квадратный фут, а температура в «холодном» проходе не превышала 27,2 градуса.

2010: В мире продано лишь 80 контейнеров

Несмотря на бурный рост предложений МЦОД от ведущих производителей, данный сегмент рынка, по оценкам IDC , остается небольшим, хотя и быстрорастущим. В 2010 г. в мире продано чуть более 80 контейнеров, что, однако, вдвое больше, чем в 2009 г.

Основными факторами развития рынка коммерческих ЦОД в России аналитики компании J’son & Partners (J&P) называют интеграцию российского бизнеса в мировую экономику, рост интернет-трафика, национальные проекты и госпрограммы, а также непрерывность работы в качестве конкурентного преимущества компаний. Несмотря на то, что спрос на МЦОД пока не велик (пока реализовано не более десятка проектов), уже более семи российских ведущих ИТ-компаний разработали и предложили свои варианты построения мобильных центров обработки данных.

В это время МЦОД востребованы в мире компаниями отрасли связи, нефтегазового сектора, крупными промышленными и производственными холдингами, предприятиями металлургической сферы, энергетики.

Отдельные компании-интеграторы в России продолжают работать над технологическими решениями в этой сфере:

• Stack Group , предлагающая мобильное решение Stack.Куб ,

Ряд проектов в этом направлении был и у таких компаний, как «Черус » и «Энвижн Груп ».

Одна из причин выбора мобильных дата-центров – возможность подключить их в короткие сроки. В среднем, изготовление МЦОД требует от 3 до 6 месяцев, а сроки монтажа и подключение ограничиваются двумя неделями.

2011: Исследование эффективности модульных контейнерных ЦОДов

Консорциум The Green Grid опубликовал в ноябре 2011 года результаты исследования эффективности центров обработки данных, собранных из готовых модульных блоков, уже содержащих необходимое оборудование и программы. Подобные модули выпускает ряд компаний, в том числе Dell , , SGI , Capgemini и Microsoft .

Строительство модульных центров стоит дешевле благодаря сокращению расходов на проектирование. Плотность размещения оборудования в модулях, как правило, выше, чем в обычных центрах, и они занимают меньше места, а производительность их зачастую оказывается выше, поскольку недостатки конструкции выявляются еще на этапе проектирования модулей. Кроме того, обычно модульные дата-центры оптимизируют в отношении потребления энергии и эффективности охлаждения, а также проектируют с расчетом на работу в широких пределах температур и влажности, Общей проблемой модульных центров является надежность, отмечается в отчете The Green Grid. Уровень дублирования, устойчивости и гарантированного времени работы разных компонентов модуля может сильно отличаться, и в результате надежность всего модуля начинает зависеть от одного элемента. Многих беспокоит также обеспечение физической безопасности модулей.

В это время в России работает не более 10% мобильных центров обработки данных (МЦОД). Ожидалась активизация этого направления – уже более семи компаний предлагают проекты создания контейнерных дата-центров. Все эти компании отмечают увеличение спроса на МЦОД: за 2011 год количество заказов на проекты мобильных центров превысило количество заказов за 2009-2010 годы. Такие крупные компании, как «Вымпелком » или авиастроительный концерн «Иркут » уже оценили преимущества мобильных центров обработки данных, что, несомненно, свидетельствует о растущей популярности МЦОД на российском рынке.

Заказчики данных проектов понимают, что, пакетируя центр обработки данных в контейнер, они получат полностью готовый продукт «под ключ» с минимальными финансовыми затратами и высокой окупаемостью. МЦОД может стать как основным центром для хранения и обработки данных, так и резервным.

2012: Исследование APC by Schneider Electric

Согласно исследованиям специалистов APC by Schneider Electric , модульные контейнерные Центры Обработки Данных быстрее в развертывании, более надежные в работе и имеют более низкую общую стоимость владения, чем ЦОД, построенные самостоятельно из различных компонентов.

Специалисты APC by Schneider Electric произвели в 2012 году детальное исследование проблемы питания и охлаждения модульных контейнеризированных центров обработки данных и сравнительный анализ с самостоятельно построенными ЦОД.

Основные рассматриваемые вопросы

Автономная инфраструктура дата-центра на базе быстровозводимого каркасного модуля. Патентованная уникальная конструкция. Круглогодичный монтаж на месте из крупных узлов, произведенных на заводе. Не требуется бетонное основание. ЦОД в любом месте и любого размера за 4 месяца "от контракта". Условия эксплуатации -60°C+45°C. Прецизионное охлаждение и поддержание влажности, замкнутый цикл.
Pre-fabricated ЦОД, перевозимый в ISO-контейнерах или обычным транспортом. Возможность выбора среди готовых решений или конфигурирования ЦОД с любыми характеристиками. Широкий выбор вида фасада и цвета, от бронированного до натуральных материалов - камень, дерево.

Типовые конфигурации

Или выберите

Основные свойства

Общая площадь одного модуля - от 6,2 кв.м до 124,74 кв.м.

В одном модуле - от 2 до 64 шкафов с габаритами от 600мм*1070мм до 800мм*1200мм и высотой до 50U.

Несколько способов масштабирования по площади за счёт применения запатентованной несущей панели (Патент на полезную модель №138677).

Возможность создания кластеров МЦОД из любого числа модулей и любой мощности.

Собирается из стандартных компонентов, произведенных на заводе, которые перевозятся в ISO-контейнере и монтируются без применения тяжелых подъемных механизмов (спецтехники).

Возможность обеспечить любую требуемую ИТ-нагрузку на стойки (от 5кВт до 40кВт).

Возможность обеспечить любой уровень надёжности инженерной инфраструктуры (Tier 1, 2, 3, 4), а также изменять эти параметры в дальнейшем.

Не требует фундамента.

Не является объектом капитального строительства.

Широкий температурный диапазон запуска и эксплуатации.

Области применения

Создание распределённых сетей центров обработки данных.

Построение крупных модульных ЦОДов.

Создание «частного облака», «гибридного облака», «EDGE Computing, IoT».

Создание «временной» ИТ-инфраструктуры.

Основа для сдачи в аренду частной инфраструктуры.

Преимущества решения

В сравнении с традиционными ЦОД в здании:

Снижение капитальных затрат, в том числе за счѐт отсутствия расходов на архитектурно-строительное проектирование, снижение затрат на проектирование инженерной инфраструктуры путѐм типизации систем, отсутствия фундамента и т.д.

Экономия времени и средств из-за отсутствия необходимости получения разрешения на капитальное строительство.

Возможность наращивания инфраструктуры по мере развития бизнеса (потребностей).

Существенное снижение сроков проектирования и реализации.

Высвобождение площадей в здании для использования по назначению.

Снижение расходов на электроэнергию благодаря эффективному охлаждению.

Возможность повторного использования.

В сравнении с контейнерными ЦОД:

Дешевле контейнерных решений, в том числе существенно снижается стоимость транспортировки.

Отсутствие потребности в фундаменте.

Возможность разместить любое требуемое количество оборудования с любой нагрузкой и уровнем надёжности инженерной инфраструктуры.

Гибкое масштабирование (с шагом в стойку, а не контейнер).

Снижение энергозатрат за счёт эффективного охлаждения.

Сервисное пространство внутри МЦОД соответствует требованиям Правил эксплуатации электроустановок.

Увеличение герметичности МЦОД за счёт отсутствия дополнительных сервисных отверстий.

Модульные дата-центры позволяют значительно сократить инвестиции в строительство ЦОДов, в первую очередь, за счет отсутствия необходимости строить капитальное здание и возможности расширять площадку по мере необходимости. Экономия на капитальных издержках может достигать 50%. В условиях экономической рецессии спрос на такие решения растет.

Концепция модульного дата-центра (МЦОД) построена на идее типового решения - модуля с заданным набором систем электроснабжения, охлаждения и физической безопасности. Большая часть узлов подобного блока уже заранее собрана и предустановлена производителем, что позволяет существенно сократить работы по инсталляции готового решения на стороне заказчика. Кроме того, отдельные модули являются независимыми в плане жизнеобеспечения, что в совокупности с короткими сроками развертывания позволяет наращивать мощность дата-центра по мере необходимости.

«Благодаря масштабируемости, возможности поэтапного ввода в эксплуатацию, а также независимости каждого модуля по критичным системам жизнеобеспечения, у заказчика есть возможность постепенного инвестирования только в необходимый на данный момент объем ЦОДа. Это в полной мере отвечает нынешней экономической ситуации многих компаний, кроме того, таким образом решается проблема недозагруженности и простаивания мощностей, что в итоге существенно сокращает сроки окупаемости дата-центра», - рассказывает Станислав Терешкин , руководитель направления ЦОД группы «Астерос».

В чем выгода МЦОД?

Экономическая целесообразность использования модульных технологий охватывает четыре аспекта: сокращение капитальных инвестиций, снижение операционных издержек, отсутствие простоя оборудования благодаря наращиванию мощностей по мере необходимости, а также более короткий срок возврата инвестиций за счет более быстрого ввода площадки в эксплуатацию.

Для запуска модульного ЦОДа требуется 4–6 месяцев с момента начала проектирования, что в 2–3 раза меньше, чем для обычного дата-центра. «Ускоренный ввод в эксплуатацию модульных ЦОД также обусловлен тем, что модули вместе с элементами инженерной инфраструктуры собираются непосредственно на заводе у вендора, где сосредоточены все инженерные и монтажные ресурсы. Это значительно быстрее, чем выполнять данные работы на площадке заказчика», - объясняет Всеволод Воробьев , руководитель направления ЦОД центра сетевых решений «Инфосистемы Джет».

Важным фактором в сокращении сроков является то, что модульные решения не требуют строительства капитального бетонного здания с мощными стенами и перекрытиями. Как правило, модульные технологии предполагают наличие «предизготовленного» помещения, которое можно поместить как внутри другого здания, так и в «чистом поле». «Задаваясь вопросом, каким должен быть дата-центр, мы очень часто сталкиваемся со стереотипом бетонного здания с мощными стенами и перекрытиями, - делится опытом Александр Переведенцев, заместитель начальника отдела поддержки продаж инженерных систем компании «Техносерв». - Однако на самом деле преимуществ такой ЦОД перед модульным не имеет. Обычно стремление к монументальности гаснет, когда заказчик сравнивает сроки и смету строительства с затратами на возведение модульной конструкции».

«При грамотном планировании срок проектирования и ввода в эксплуатацию может быть сокращен в 2 раза и более за счет фактического отсутствия строительства капитальных сооружений (включая проектирование, экспертизу проекта, получение разрешений на строительство и непосредственно самого строительства», - комментирует эксперт компании «Энвижн Груп» Арсений Фомин .

В разрезе капитальных издержек определенная экономия может быть достигнута за счет использования готовых типовых продуктов, которые обходятся дешевле решений, разработанных под заказ. Однако еще большую роль играет возможность вводить отдельные блоки в эксплуатацию поэтапно, тем самым сокращая размер первоначальных инвестиций. «Строительство ЦОДа по принципу модульности дает возможность вкладывать деньги поэтапно, создавая действующие отказоустойчивые кластеры, позволяющие одновременно решать возложенные на них бизнес-задачи (получать прибыль) и возвращать вложенные инвестиции. Начальные инвестиции проекта составляют 20%–30%, остальные распределены по времени в соответствии с этапами ввода ЦОДа в эксплуатацию», - объясняет Павел Дмитриев , заместитель директора департамента интеллектуальных зданий компании «Крок».

Общая экономия CAPEX при использовании модульных решений составляет до 30%, подсчитали в исследовательской компании 451 Research. Опрошенные CNews системные интеграторы называют цифры от 15% до 50% экономии на капитальных затратах в зависимости от конструктивных особенностей объекта.

В области операционных издержек экономия происходит за счет унификации инженерных систем, соответственно, сокращаются затраты на обслуживающий персонал, закупку запасных частей и ремонт. Кроме того, появляется возможность уменьшить счет за электроэнергию. По данным Schneider Electric, модульный подход позволяет снизить совокупную стоимость владения (Total Cost of Ownership, TCO) на $2–7 в пересчете на 1 Вт мощности ЦОДа. «Экономия электроэнергии идет за счет того, что модульные ЦОДы обычно более компактны, чем «классические». Объем воздуха, который нужно охлаждать, в них меньше, поэтому системы кондиционирования потребляют меньше электроэнергии», - поясняет представитель компании «Утилекс» Валентин Фосс.

Впрочем, не все игроки рынка согласны с тем, что экономия на OPEX является значительной: «Операционные издержки будут примерно одинаковы по сравнению с немодульным дата-центром», - полагает Арсений Фомин. Однако он оговаривается, что «экономия может быть достигнута за счет отсутствия необходимости содержания и ремонта капитального здания.»

Примеры проектов модульных ЦОД в 2015–2016 гг.

Заказчик	Системный интегратор	Решение	Описание проекта
Группа «Черкизово»	Инофсистемы Джет	Contain-RZ	Модульный ЦОД построен с учетом требований международного стандарта TIA-942, уровень надежности комплекса инженерных систем соответствует TIER II, а коэффициент отказоустойчивости равен 99,749%. Площадь – около 200 кв. м. В ЦОД расположены 32 высоконагруженных стойки, на которых размещены ядро корпоративной сети и серверные платформы для всех основных бизнес-приложений (SAP, 1C, CSB, корпоративной почты и др.). МЦОД состоит из трех модулей, соответствующих по размерам морскому контейнеру. Это позволило избежать дополнительных затрат, связанных с транспортировкой модулей от производителя до площадки. Кроме того, модульное решение исключает такие риски, как ошибки при проектировании и монтаже.
LinxDataCenter	Инсистемс	н/д	В 2016 г. было завершено расширение ЦОД LinxDataCenter на 265 стойкомест. Реализация данного проекта проходила в условиях работающего дата-центра, в котором было необходимо построить три дополнительных модуля. Характерной особенностью проекта было проведение большого объема общестроительных работ (выемка грунта, заливка железобетонных плит перекрытий, установка колонн и балок металлоконструкций) при условии бесперебойного функционирования существующих модулей ЦОД и беспрепятственного доступа к ним клиентов. Вновь создаваемые модули также вводились в эксплуатацию по мере их готовности. Соответственно и весь комплекс инженерных систем создавался и вводился в эксплуатацию поэтапно с проведением всего комплекса промежуточных испытаний и пуско-наладочных работ.
Технопарк «Жигулевская долина»	Ланит-Интеграция	Smart Shelter/AST Modular	ЦОД насчитает шесть машинных залов общей площадью 843 кв. м и вмещает 326 стоек мощностью от 7 до 20 кВт каждая. В четырех машинных залах второго этажа развернута система охлаждения от компании AST Modular, включающая в себя 44 модуля охлаждения наружным воздухом Natural Free Cooling. Система бесперебойного и гарантированного электроснабжения построена на дизель-динамических источниках бесперебойного питания Piller. Управление зданием осуществляется при помощи решений, построенных на оборудовании компании Schneider Electric. ИТ-оборудование собрано в отказоустойчивой конфигурации и размещено в модульных помещениях Smart Shelter, обеспечивающих надежную защиту ЦТО от пожара, влаги, вибрации и других внешних воздействий.
Аэрофлот	Техносерв	ИТ-Экипаж	В машинном зале установлены 78 серверных стоек электрической мощностью 10 кВт на каждую. Общая площадь двух машинных залов 175 кв. м, что обеспечивает удобство транспортировки и обслуживания оборудования. Серверный и инженерный блоки располагаются вертикально – в два яруса. При данной конфигурации основное инженерное оборудование находится на первом ярусе, а вычислительная инфраструктура – на втором. При стыковке серверных блоков образуется единое технологическое помещение для установки активного оборудования. Инженерные системы нового модульного ЦОД «Аэрофлот» рассчитаны на круглосуточную бесперебойную работу – заранее установлены, налажены и протестированы.
Красноярская ГЭС	Утилекс/Ланит-Сибирь	Nota	В рамках проекта на площадке, вынесенной на безопасную отметку за пределами тела плотины ГЭС, был смонтирован модульный ЦОД с внутренними габаритами 10,5*3*3,2 м. МЦОД полностью оснащен всеми необходимым инженерными системами: распределенного электропитания, кондиционирования и поддержания влажности, видеонаблюдения, источниками бесперебойного питания, системами контроля, мониторинга и управления доступом, автоматического пожаротушения, пожарной и охранной сигнализации, а также структурированной кабельной системой. Техническая сложность реализации проекта заключалась в том, что работы выполнялись под существующей рабочей линией электропередач в 500 кВ. Строительство самого объекта ЦОД было ограничено временными рамками. При возведении каркасной конструкции центра работы укладывались в максимально плотный и регламентированный график по отключению ЛЭП.

Как всегда, мы постарались сделать модельную задачу максимально приближенной к реальным проектам. Итак, вымышленный заказчик планировал на 2015 год строительство нового корпоративного ЦОД по традиционной технологии (начиная с капитального строительства или реконструкции здания). Однако ухудшение экономической ситуации заставило его пересмотреть планы. От масштабного строительства решено отказаться, а для решения текущих ИТ-задач - организовать небольшой модульный ЦОД во дворе на своей территории.

Изначально от ЦОД требуется обеспечить установку 10 стоек с ИТ-оборудованием мощностью до 5 кВт каждая. При этом решение должно масштабироваться по двум параметрам: по числу стоек (в перспективе, при благоприятной экономической ситуации и развитии бизнеса заказчика, ЦОД должен вмещать до 30 стоек) и по мощности отдельной стойки (20% всех стоек должны поддерживать работу оборудования мощностью до 20 кВт на стойку). Предпочтительный «квант» наращивания - 5 стоек. Более подробно - см. врезку «Задача».

ЗАДАЧА

Вымышленный заказчик планировал на 2015 год строительство нового корпоративного ЦОД по традиционной технологии (начиная с капитальной реконструкции здания). Однако ухудшение экономической ситуации заставило его пересмотреть планы. От масштабного строительства решено отказаться, а для решения текущих ИТ-задач - организовать небольшой модульный ЦОД.

Задача. Заказчик собирается на своей промышленной территории развернуть небольшой, но хорошо масштабируемый ЦОД. Изначально нужно обеспечить установку 10 стоек с ИТ-оборудованием, мощность каждой стойки до 5 кВт. При этом решение должно быть масштабируемым по двум параметрам:

• по числу стоек: в перспективе, при благоприятной экономической ситуации и развитии бизнеса заказчика, ЦОД должен будет вмещать до 30 стоек;
• по мощности отдельной стойки: 20% всех стоек должны обеспечить работу оборудования мощностью до 20 кВт (на стойку).

Желательно инвестировать в развитие ЦОД по мере необходимости. Предпочтительный «квант» наращивания - 5 стоек.

Особенность площадки. Площадка обеспечена электричеством (максимальная подведенная мощность - 300 кВт) и каналами связи. Размеры площадки достаточны для размещения любого внешнего оборудования, такого как ДГУ, чиллеры и пр. Площадка расположена в городской черте, что накладывает дополнительные условия на уровень шума от оборудования. Кроме того, нахождение ЦОД в городе подразумевает высокий уровень загрязнения воздуха.

Инженерные системы. Уровень отказоустойчивости - Tier II.

Охлаждение. Заказчик не специфицировал конкретную технологию охлаждения (фреоновая, чиллерная, адиабатика, естественное охлаждение) - ее выбор отдается на усмотрение проектировщиков. Главное - обеспечить эффективный съем тепла при указанных в задаче мощностях стоек. Минимизация энергопотребления приветствуется - необходимо уложиться в ограничения по подведенной мощности.

Бесперебойное электропитание. Конкретная технология тоже не специфицирована. Время автономного питания в случае аварии - минимум 10 мин от аккумуляторов с переходом на работу от ДГУ. Запас топлива - на усмотрение проектировщиков.

Другие инженерные системы. Проект должен предусматривать следующие системы:

• автоматическая установка газового пожаротушения (АУГПТ);
• система контроля и управления доступом (СКУД);
• структурированная кабельная система (СКС);
• фальшпол и другие системы - на усмотрение проектировщиков.

ЦОД должен иметь комплексную систему управления , обеспечивающую мониторинг и контроль всех основных систем: механической, электрической, противопожарной, системы безопасности и пр.

Дополнительно:

• заказчик просит указать срок реализации ЦОД и особенности доставки оборудования (подъездные пути, специальные механизмы для разгрузки/монтажа);
• если проектировщик считает необходимым, можно сразу предложить ИТ-оборудование для ЦОД.

Мы обратились к ведущим поставщикам модульных ЦОД с просьбой разработать проекты для заказчика. В результате были получены 9 подробных решений. Прежде чем приступить к их рассмотрению, заметим, что «Журнал сетевых решений/LAN» уже много лет отслеживает тенденции и пытается классифицировать модульные ЦОД. Этим вопросам посвящены, например, статьи автора « » (LAN, № 07–08, 2011) и « » (LAN, № 07, 2014). В этой статье не будем тратить время на изложение трендов, а интересующихся отсылаем к указанным публикациям.

(НЕ)КОНСТРУКТИВНЫЙ ПОДХОД

Очень часто принадлежность к категории «Модульный ЦОД» определяют по типу конструктива. На первом этапе становления этого сегмента рынка «модульными» обычно называли ЦОДы на базе стандартных ISO-контейнеров. Но в последние год-два на контейнерные ЦОДы обрушился вал критики, особенно со стороны поставщиков решений «новой волны», которые акцентируют внимание на том факте, что стандартные контейнеры не оптимизированы для размещения ИТ-оборудования.

Относить ЦОД к категории модульных исходя из типа конструктива - неверно. «Модульность» должна определяться возможностью гибкого масштабирования путем согласованного наращивания числа стоек, мощности систем бесперебойного гарантированного питания, охлаждения и других систем. Конструктив при этом может быть разный. Так и нашему заказчику поступили предложения на основе и стандартных ISO-контейнеров, и специализированных контейнеров и/или блоков, и модульных помещений, и собираемых на месте конструкций (см. таблицу).

Скажем, специалисты Huawei выбрали для нашего заказчика решение на основе стандартных ISO-контейнеров, хотя в портфеле решений компании имеются модульные ЦОД на основе конструктивов других типов. Михаил Саликов, директор направления ЦОД этой компании, объяснил данный выбор тем, что традиционное контейнерное решение, во-первых, дешевле, во-вторых, позволяет быстрее реализовать проект и, в-третьих, менее «требовательно» к подготовке площадки. По его мнению, в нынешних условиях с учетом поставленных заказчиком условий именно этот вариант может оказаться оптимальным.

Сразу несколько поступивших заказчику предложений основаны на контейнерах, но не стандартных (ISO), а специально разработанных для построения модульных ЦОД. Такие контейнеры могут стыковаться, образуя единое пространство машинного зала (см., например, проект компании Schneider Electric).

Одной из особенностей вариантов на основе контейнеров являются более жесткие требования к средствам транспортировки и установки. Так, например, для доставки модулей-контейнеров NON-ISO25 компании Schneider Electric необходимо низкоплатформенный прицеп с полезной длиной не менее 7,7 м. Для разгрузки и установки потребуется кран грузоподъемностью не менее 25 т (см. рис. 1).

При использовании модулей меньшего размера требования мягче. Например, модули DCoD компании CommScope перевозятся в стандартном евротраке, а их разгрузка и установка могут осуществляться обычным автопогрузчиком - грузоподъемностью не менее 10 т (см. рис. 2).

Наконец, для монтажа быстровозводимой (на месте) конструкции, напри мер МЦОД NOTA компании «Утилекс», тяжелые подъемные механизмы вообще не требуются - достаточно самопо грузчика с подъемной мощностью 1,5 т.

Все составляющие этого МЦОД перевозятся в разобранном виде в стандартном ISO-контейнере, что, по словам представителей «Утилекс», существенно снижает стоимость и сроки доставки до площадки размещения. Эта возможность особенно важна для удаленных мест без развитой транспортной инфраструктуры. В качестве примера приводится проект по реализации распределенного ЦОД в Магаданской области для компании «Полюс Золото»: общая протяженность пути доставки составила более 8900 км (5956 км ж/д транспортом, 2518 км - морским; 500 км - автотранспортом).

ЭЛЕКТРОПИТАНИЕ

В части системы гарантированного бесперебойного электропитания выбор различных вариантов для дан ного проекта невелик - только классическое «трио»: статические ИБП, аккумуляторные батареи и дизель-генераторная установка (ДГУ). Рассматривать в качестве альтернативы динамические ИБП при таких мощностях нецелесообразно.

В большинстве проектов используются модульные ИБП, мощность которых наращивается путем добавления силовых модулей. Предлагаются и моноблочные ИБП - в этом случае увеличение мощности системы происходит путем установки ИБП в параллель. Одни компании указали конкретные модули ИБП, другие ограничились общими рекомендациями ().

Схожа ситуация и с ДГУ: одни компании рекомендовали конкретные модели, другие ограничились расчетом мощ ности. Более подробная информация по ДГУ представлена в полных описа ниях проектов, доступных на сайте .

ОХЛАЖДЕНИЕ

А вот вариантов охлаждения предложено немало. Большая часть проектов основана на фреоновых кондиционерах - не самое энергоэффективное, но наиболее дешевое решение. Две компании - Huawei и Schneider Electric - сделали ставку на чиллерные системы. Как поясняет Денис Шарапов, менеджер по развитию бизнеса компании Schneider Electric, проект системы охлаждения с фреоновыми кондиционерами получается дешевле, однако для обеспечения отказоустойчивого функционирования потребуется установить ИБП гораздо большей мощности (для питания компрессоров), в результате стоимость проектов окажется примерно равной. Поэтому на основании проведенных расчетов специалист Schneider сделал выбор в пользу чиллерного варианта - более надежного и функционального. (Для аварийного охлаждения в чиллерных системах используется бак-аккумулятор с холодным теплоносителем, а потому потребность в бесперебойном питании существенно ниже - достаточно запитать от ИБП только насосы для прокачки теплоносителя.)

В рекомендованном заказчику специалистами «Крок» решении CommScope используется прямой фрикулинг с адиабатическим охлаждением. Как отмечает Александр Ласый, технический директор департамента интеллектуальных зданий компании «Крок», применение прямого фрикулинга почти круглый год дает существенную экономию электроэнергии, а предлагаемая (в решении CommScope) система адиабатического охлаждения не требует серьезной подготовки воды, так как увлажнение происходит с применением недорогих заменяемых элементов. Расходы на их замену несопоставимы с расходами на глубокую подготовку воды. Для доохлаждения и резервного охлаждения ЦОД в этом случае, по мнению специалиста «Крок», наиболее целесообразно использовать фреоновую систему прямого испарения (DX). При наличии фрикулинга и адиабатического охлаждения суммарное время использования резервной/дополнительной системы в течение года крайне мало, поэтому нет смысла стремиться к ее высокой энергоэффективности.

Компания «ЛАНИТ-Интеграция» предложила систему непрямого фрикулинга с адиабатическим охлаждением. В такой системе не происходит смешивания потоков внешнего и внутреннего воздуха, что особенно важно при размещении ЦОД в черте города ввиду высокого загрязнения воздуха. В качестве дополнительной в этом проекте выбрана чиллерная система - она будет включаться лишь в самые неблагоприятные для основной системы периоды.

МИССИЯ (НЕ)ВЫПОЛНИМА?

В нашей задаче был скрытый подвох, который не заметили (скорее, не захотели заметить) большинство конкурсантов. Указанные заказчиком общая полная мощность ИТ-оборудования (240 кВт) и максимальная подведенная мощность (300 кВт) оставляют для инженерных и прочих вспомогательных систем всего 60 кВт. Выполнение этого условия требует применения очень энергоэффективных инженерных систем: PUE = 1,25 (300/240).

Теоретически достижение такого показателя вполне возможно при использовании прямого фрикулинга и адиабатического охлаждения, предложенных «Крок» и CommScope. И у последней есть примеры проектов за рубежом, где достигается даже меньшее значение PUE. Но эффективность применения указанных технологий охлаждения сильно зависит от уровня загрязнения и климатических параметров в месте размещения. В поставленной задаче достаточных данных предоставлено не было, поэтому на данном этапе нельзя однозначно утверждать, поможет ли прямой фрикулинг «уложиться» в ограничение по подведенной мощности.

В решении с непрямым фрикулингом, предложенным компанией «ЛАНИТ-Интеграция», указан расчетный PUE 1,25–1,45. Таким образом, этот проект не укладывается в заданные ограничения. Что касается решений с системами чиллерного охлаждения и фреоновыми кондиционерами, их энергоэффективность еще ниже, а значит, общее потребление ЦОД выше.

Например, по расчету Дениса Шарапова, пиковое энергопотребление предложенного Schneider Electric решения составляет 429,58 кВт - при максимальной ИТ-нагрузке (240 кВт), температуре окружающего воздуха выше 15°С, в момент заряда батарей ИБП, с учетом всех потребителей (в том числе систем мониторинга, АГПТ, внутреннего освещения, СКУД). Это на 129 кВт превышает подведенную мощность. Как вариант решения задачи он предложил исключить из конфигурации высоконагруженные стойки (20 кВт) или обеспечить регулярную поставку топлива для обеспечения постоянной работы ДГУ мощностью не менее 150 кВт.

Конечно, эксплуатация ЦОД с загрузкой 100% очень маловероятна - на практике такого почти никогда не случается. Поэтому для определения общей потребляемой мощности МЦОД специалисты компании GreenMDC предложили принять коэффициент спроса на суммарную мощность ИТ-оборудования равным 0,7. (По их данным, для корпоративных ЦОД значение этого коэффициента находится в интервале от 0,6 до 0,9.) С учетом этого предположения расчетная мощность для машзала составит 168 кВт (24 шкафа по 5 кВт; 6 шкафов по 20 кВт; коэффициент спроса - 0,7: (24х5 + 6х20)х0,7 = 168).

КОРРЕКТИРОВКА ЗАДАЧИ

Но даже с учетом высказанного выше замечания о неполной загрузке, для надежного электроснабжения ЦОД заказчику, видимо, придется решать вопрос об увеличении подведенной к площадке мощности и отказаться от мечты создать ЦОД со значением PUE на уровне лучших мировых показателей объектов масштаба Facebook и Google. Да и не нужна такая энергоэффективность обычному корпоративному заказчику - особенно с учетом невысокой стоимости электроэнергии.

Как полагает Александр Ласый, поскольку мощность ЦОД совсем небольшая, то и обращать повышенное внимание на энергоэффективность не имеет особого смысла, поскольку стоимость решений, позволяющих существенно сократить потребление электроэнергии, может значительно превышать величину экономии за период жизненного цикла ЦОД.

Итак, дабы заказчик вообще не остался без ЦОД, мы снимаем ограничение по подведенной мощности. Какие еще корректировки возможны? Заметим, что немало компаний скрупулезно выполнили пожелания заказчика относительно числа/мощности стоек и «кванта» наращивания в 5 стоек. А компании «Крок» и CommScope предложили даже меньший «квант» - модули на 4 стойки.

Однако ряд компаний, основываясь на имеющихся в их портфеле предложений типовых конструктивах, несколько отошли от условий задачи. Например, как отмечает Александр Переведенцев, главный специалист департамента поддержки продаж компании «Техносерв», «по нашему опыту на данный момент актуально развитие (масштабирование) ЦОД кластерами с шагом 15–20 стоек при средней мощности на стойку не менее 10 кВт». Поэтому «Техносерв» предложила решение на 36 стоек по 10 кВт электрической мощности на одну стойку с шагом наращивания 18 стоек. Контейнеры на 18 стоек фигурируют и в проекте Huawei, благодаря чему в итоге заказчик может получить на 6 стоек больше, чем запрашивал.

ПОДГОТОВКА ПЛОЩАДКИ

Площадку для установки ЦОД следует подготовить - по меньшей мере выровнять. Для ЦОД, предложенного заказчику компанией «Крок», необходимо наличие бетонного фундамента в виде несущей плиты, рассчитанной на соответствующую нагрузку.

Кроме того, площадка должна быть снабжена отливами для стекания дождевой и талой воды. «Поскольку снега в нашей стране иногда выпадает достаточно много, во избежание поломок и протечек целесообразно оборудовать площадку легкосборными односкатными навесами», - рекомендует Александр Ласый.

Строительство на площадке бетонного фундамента предусматривается в большинстве проектов. При этом ряд специалистов указали на то, что стоимость возведения фундамента несопоставима с общей стоимостью проекта, поэтому на нем экономить не стоит.

Особняком стоит МЦОД NOTA компании «Утилекс», для которого фундамент не требуется. Такой ЦОД можно устанавливать и запускать на любой ровной площадке с уклоном не более 1–2%. Подробности - ниже.

ВРЕМЯ…

Как отмечает Александр Ласый, самый важный и трудоемкий процесс - это проектирование ЦОД, так как ошибки, допущенные на стадии проектирования, после выпуска модулей из производства крайне трудно устранить. По его данным, обычно на подготовку и согласование ТЗ, проектирование, согласование и утверждение проекта уходит от 2 до 4 месяцев. Если заказчик выбирает типовые решения, то процесс может сократиться до 1–2 месяцев.

В случае если заказчик предпочтет решение CommScope, производство и поставка предварительно собранных модулей и всего сопутствующего оборудования займут 10–12 недель для стартовых комплектов и 6–8 недель для дополнительных модулей. Сборка стартового комплекта линейки из 5 модулей на подготовленной площадке - не более 4–5 дней, пусконаладочные работы - 1–2 недели. Таким образом, после согласования и утверждения проекта, заключения договора и оплаты необходимого аванса (обычно это 50–70%) через 12–14 недель ЦОД будет готов к эксплуатации.

Срок реализации проекта на базе решения «ЛАНИТ-Интеграция» - около 20 недель. При этом на проектирование потребуется около 4 недель, на производство (включая системы охлаждения) - 8 недель, на доставку - 4 недели, на установку и запуск - еще 4 недели.

Подобные сроки указывают и другие компании, причем нет большой разницы, где находятся сборочные мощности - за рубежом или в России. Скажем, средний срок сдачи под ключ МЦОД Schneider Electric - 18–20 недель (без проектирования). Продолжительность основных этапов (связанных с установкой первого и последующего модулей и сдачей их под ключ) при сооружении МЦОД «Утилекс» NOTA составляет от 12 недель. А продолжительность этапов, связанных с расширением каждого модуля (добавлением в него 5 стоек и соответствующих инженерных систем) - от 8 недель.

Очевидно, что указанные сроки приблизительны. Многое зависит от географического расположения площадки заказчика, качества организации работ и взаимодействия всех участников процесса (заказчика, интегратора и производителя). Но в любом случае от идеи до полной реализации проекта проходит всего полгода или немного больше. Это в 2–3 раза меньше, чем при строительстве ЦОД традиционными методами (с капитальным строительством или реконструкцией здания).

…И ДЕНЬГИ

Информацию о стоимости мы получили далеко не от всех участников. И тем не менее полученные данные позволяют составить представление о структуре и примерной величине затрат.

Александр Ласый подробно расписал заказчику структуру и последовательность его затрат при выборе решения от «Крок» и CommScope. Итак, 10% уйдет на проектирование, 40% - на запуск стартового комплекта (12 ИТ-стоек), 5% - на завершение первой линейки (расширение + 4 ИТ-стойки), 35% - на запуск стартового комплекта второй линейки (8 ИТ-стоек), 5% - на расширение (+4 ИТ-стойки) и еще 5% - на дальнейшее расширение (+4 ИТ-стойки). Как видим, распределение затрат равномерное - именно этого и хотел заказчик, когда задумался о выборе модульного ЦОД.

Немало заказчиков полагают, что после недавних скачков курса рубля важным в деле снижения и/или фиксирования стоимости является локализация предлагаемых решений. По словам Александра Переведенцева, сотрудники компании «Техносерв» последние полгода активно занимаются поиском производителей отечественного оборудования, в частности в области инженерных систем. На данный момент при реализации ЦОД степень локализации инженерных систем составляет 30%, а в решениях высокой готовности, к которым относится последняя версия модульного ЦОД «ИТ Экипаж», - не менее 40%. Стоимость МЦОД «ИТ Экипаж» на 36 стоек мощностью 10 кВт каждая с возможностью дальнейшего расширения и уровнем отказоустойчивости Tier III будет варьироваться от 65 до 100 тыс. долларов за одну стойку. При пересчете по курсу 55 руб. за доллар получается от 3,5 до 5,5 млн руб. за стойку. Но это, подчеркнем, решение уровня Tier III, тогда как большинство других компаний предложили уровень Tier II, как запрашивал заказчик.

Если «Техносерв» не преминул похвалиться уровнем локализации 40%, то представители «Утилекс» скромно умолчали о том, что в их решении этот показатель существенно выше, поскольку все основное инженерное оборудование, включая кондиционеры и ИБП, - отечественного производства. Стоимость МЦОД «Утилекс» NOTA (из расчета 24 стойки по 5 кВт и 6 стоек по 20 кВт) - 36 400 долларов на стойку. По курсу 55 руб. за 1 доллар получается около 2 млн руб. за стойку. В эту сумму входят все расходы по доставке до места размещения в пределах РФ и стоимость всех работ по монтажу и запуску, включая командировочные и накладные расходы. Как отмечают представители «Утилекс», общую стоимость МЦОД можно снизить, разместив всю инфраструктуру в одном модуле NOTA больших размеров (5,4х16,8х3 м): 10 стоек на первом этапе и добавление по 5 стоек на последующих. Но в этом случае капитальные затраты на первом этапе потребуется увеличить, а при отказе заказчика от масштабирования МЦОД средства будут потрачены неэффективно.

Дмитрий Степанов, директор бизнес-направления компании «Президент-Нева» Энергетический центр», оценил стоимость одного модуля (контейнера) на 10–12 стоек в 15–20 млн рублей. В эту сумму входит стоимость всех находящихся в составе модуля инженерных систем, включая кондиционеры и ИБП, но не включена стоимость ДГУ. По его словам, при выборе вместо ИБП и кондиционеров компании Emerson Network Power более дешевых инженерных компонентов возможно снижение стоимости до 11–12 млн рублей.

Стоимость проекта GreenMDC на первом этапе составляет примерно 790 тыс. евро (подготовка площадки - 130 тыс. евро, первая очередь МЦОД - 660 тыс. евро). Итоговая стоимость всего проекта на 32 стойки, включая ДГУ, - 1,02 млн евро. По курсу на момент подготовки материала (59 рублей за евро) получается 1,88 млн рублей в пересчете на одну стойку. Это один из самых выгодных вариантов.

В целом, если говорить о решении на базе фреоновых кондиционеров, «точкой отсчета» для заказчика может служить уровень в 2 млн рублей в пересчете на одну стойку. Вариант на основе чиллерной системы примерно в 1,5 раза дороже. Причем разница в стоимости «российских» и «импортных» решений вряд ли будет сильно различаться, поскольку даже в отечественных кондиционерах («Утилекс») используются импортные комплектующие. К сожалению, не производится в России современных компрессоров, и ничего тут не поделаешь!

ОСОБЕННОСТИ ПРЕДЛОЖЕННЫХ РЕШЕНИЙ

«ГрандМоторс»

Основной - ИТ - модуль («Машинный зал») формируется на базе цельнометаллического блока-контейнера и состоит из аппаратного отсека и тамбура. Для обеспечения заданного «кванта» наращивания в аппаратном отсеке каждого ИТ-модуля устанавливаются 4 стойки мощностью до 5 кВт (охлаждение рядными кондиционерами) и 1 стойка мощностью до 20 кВт (охлаждение непосредственно пристыкованным к ней аналогичным кондиционером) (см. рис. 3). В этом же отсеке располагается ИБП с батареями. В качестве кондиционеров заказчику предложены (на выбор) агрегаты Emerson CRV или RC Group COOLSIDE EVO CW, а в качестве ИБП - устройства серии GMUPS Action Multi или ABB Newave UPScale DPA.

В тамбуре размещаются электрические щиты и оборудование системы газового пожаротушения. При необходимости в тамбуре возможна организация рабочего места диспетчера или дежурного персонала.

Как отмечает Даниил Кулаков, технический директор «ГрандМоторс», применение рядных кондиционеров продиктовано наличием разнотипных по мощности стоек. В случае стоек одной мощности для увеличения эффективности заполнения площади машинного зала возможно использование кондиционеров наружного размещения (например, Stulz Wall-Air) - такое решение позволит сократить энергопотребление системы охлаждения за счет применения режима фрикулинга.

На первом этапе достаточно смонтировать на площадке два модуля «Машинный зал» и один «Энергетический модуль» - в последнем размещается ДГУ GMGen Power Systems компании SDMO Industries на 440 кВА. Впоследствии возможно наращивание доступных вычислительных мощностей ЦОД с дискретностью один модуль «Машинный зал» (5 стоек), при этом заложенная мощность ДГУ рассчитана на 6 таких модулей. Система мониторинга и управления обеспечивает доступ к каждой единице оборудования и на верхнем уровне реализована на базе SCADA-системы.

Все предусмотренные инженерные решения обеспечивают резервирование N+1 (за исключением ДГУ - при необходимости может быть установлен дублирующий генератор). Предложенная архитектура построения инженерных систем позволяет повысить уровень резервирования уже в ходе создания ЦОД.

«Крок»/CommScope

Ведущий мировой производитель решений в области кабельной инфраструктуры компания CommScope относительно недавно вышла на рынок модульных ЦОД, что позволило ей учесть многие недостатки продуктов первого поколения. Она предложила строить ЦОДы из предварительно собранных на производстве модулей высокой степени готовности, назвав свое решение «ЦОД по требованию» (Data Center On Demand, DCoD). Эти решения уже инсталлированы и успешно используются в США, Финляндии, ЮАР и других странах. В России при участии «Крок» сейчас прорабатывается три проекта DCoD.

Базовые модули DCoD рассчитаны на установку 1, 4, 10, 20 или 30 стоек с ИТ-оборудованием. Александр Ласый, технический директор департамента интеллектуальных зданий «Крок», представивший нашему заказчику проект, предложил собирать решение из типовых модулей DCU-4, рассчитанных на 4 стойки (можно заказать и нетиповые, но это удорожит проект примерно на 20%). Такой модуль включает в себя системы охлаждения (в том числе автоматику для управления), первичного распределения и коммутации электропитания.

Стартовый блок будет состоять из 4 типовых модулей (см. рис. 4). Его полная емкость -16 стоек, что позволит на 6 избыточных стойко-местах разместить ИБП необходимой мощности и АКБ, а также оборудование систем безопасности и мониторинга. Итоговая конфигурация «машзала» (линейки) будет состоять из 5 модулей по 4 стойки, то есть всего 20 стоек, 2 из которых могут иметь суммарную мощность ИТ-оборудования до 20 кВт. При этом 1 модуль (4 стойки) будет отведен под систему бесперебойного электропитания (СБЭ) и может быть изолирован от основного машзала перегородкой для разграничения доступа обслуживающего персонала.

Вторая линейка полностью аналогична по конструкции первой, но ее стартовый комплект состоит не из 4, а из 3 модулей на 4 стойки. В нем сразу будет выделено место для СБЭ, систем безопасности и мониторинга. Впрочем, как отмечает Александр Ласый, в результате накопления опыта эксплуатации первой линейки в первоначальный план конфигурации могут быть внесены коррективы.

Мощность ИТ-оборудования первой линейки в первоначальной инсталляции (12 стоек) составит около 60 кВт, а после наращивания (16 стоек) - 90 кВт, включая каналообразующее оборудование провайдеров и главные коммутаторы ЦОД. Для обеспечения работоспособности ЦОД при отказе внешнего электропитания необходимо предусмотреть бесперебойное питание вентиляторов и контроллеров системы охлаждения. Мощность этого оборудования составит еще примерно 10 кВт. Итого, мощность СБЭ превысит 100 кВт. Модульный ИБП для такой нагрузки со временем автономии не менее 10 мин и шкафом коммутации электропитания будет занимать примерно 4 стойко-места.

Как уже говорилось выше, изюминка предложенного решения - в использовании для охлаждения прямого фрикулинга с адиабатическим увлажнением. Для доохлаждения и резервного охлаждения предложена фреоновая система (DX).

«ЛАНИТ-Интеграция»

Заказчику предложено решение на основе модульного помещения физической защиты SME E-Module (см. рис. 5): из стандартных компонентов могут быть быстро возведены защищенные помещения любой геометрии для ЦОД площадью от 15 до 1000 м 2 . Для нашей задачи площадь помещения - не менее 75 м 2 . Среди особенностей конструкции - высокий уровень физической защиты от внешних воздействий (за счет стального несущего каркаса балочно-колонного типа и усиленных панелей конструктива), огнестойкости (60 мин по EN1047-2) и пылевлагозащищенности (IP65). Хорошие теплоизолирующие свойства позволяют оптимизировать затраты на охлаждение/обогрев.

Для охлаждения ИТ-оборудования выбрана система непрямого фрикулинга SME FAC (Fresh Air Cooling) с адиабатическим увлажнением. В такой системе не происходит смешивания потоков внешнего и внутреннего воздуха. Для проекта выбраны блоки SME FAC, позволяющие отводить до 50 кВт тепла каждый (для 10 стоек по 5 кВт). Они будут добавляться по мере необходимости - при увеличении числа стоек, а также при повышении нагрузки отдельных стоек до 20 кВт.

Вокруг МПФЗ E-Module необходимо предусмотреть зону для установки и обслуживания установок охлаждения SME FAC шириной по периметру не менее 3 м. Кроме того, проектом предусмотрена чиллерная система, однако задействована она будет лишь в самые неблагоприятные для основной системы периоды. По оценкам «ЛАНИТ-Интеграции», ЦОД сможет работать без включения чиллеров до 93% времени в году (при температуре внешнего воздуха до +220C).

Раздача холодного воздуха будет осуществляться под фальшполом. При необходимости МЦОД можно оснастить системой контейнеризации холодных рядов SME Eficube.

СБЭ реализуется на базе моноблочных ИБП Galaxy 5500 компании Schneider Electric. На первом этапе будут установлены 2 источника Galaxy 5500 по 80 кВА. В последующем в параллель будет добавляться необходимое число ИБП. В параллельной системе может быть до 6 таких модулей, соответственно, она способна поддерживать нагрузку 400 кВА в режиме N+1.

Решение по обеспечению контроля и безопасности среды также строится на базе продукта Schneider Electric - системы InfraStruXure Central.

Предложение «ЛАНИТ-Интеграции» выглядит одним из самых солидных, особенно в части уровня защищенности помещения и состава системы охлаждения. Однако ряд моментов - например, предложение развернуть полноценную чиллерную систему, которая будет использоваться лишь небольшую часть времени в году, - предполагают высокую стоимость этого проекта. К сожалению, информация о стоимости нам не была предоставлена.

«Президент-Нева»

Компания предложила заказчику решение на базе блок-контейнера класса «Север». Благодаря такому конструктиву решение может работать при температуре до –50°С, подтверждением чего является положительный опыт эксплуатации трех МЦОД «Газпромнефть-Хантос» на Приобском месторождении в районе Крайнего Севера (всего в активе компании «Президент-Нева» - 22 построенных МЦОД).

Контейнер имеет поперечные перегородки, разделяющие его на три помещения: тамбур и два помещения для шкафов с ИТ-оборудованием, - а также перегородку между холодным и горячим коридорами внутри ИТ-помещений (см. рис. 6). В одном помещении будет установлено 8 стоек на 5 кВт, в другом - 2 высоконагруженные стойки на 18 кВт. Между помещениями установлены роллетные двери, при открытии которых в аппаратном отсеке обеспечиваются единые холодный и горячий коридоры.

Инженерную «начинку» ЦОД составляет оборудование Emerson Network Power. Для охлаждения помещения со стойками на 5 кВт используются потолочные кондиционеры Liebert HPSC14 (холодопроизводительность 14,6 кВт) с поддержкой фрикулинга. В нем размещаются четыре таких кондиционера. Еще один Liebert HPSC14 инсталлируется в помещении с высоконагруженными стойками и СБЭ (ИБП и АКБ). Но он служит лишь доводчиком, а основную нагрузку снимают более мощные рядные кондиционеры Liebert CRV СR035RA. Благодаря функции аварийного фрикулинга Liebert HPSC14 способен обеспечить охлаждение на протяжении того небольшого периода времени при отключении основного электропитания, когда происходит запуск ДГУ.

СБЭ состоит из модульного ИБП Emerson серии APM (резервирование N+1) и блока батарей. Внешний байпас ИБП предусмотрен во вводно-распределительном устройстве (ВРУ), размещенном в тамбуре. В качестве ДГУ предложен агрегат FG Wilson мощностью 275 кВА.

Заказчик может начать развитие своего ЦОД с решения для стоек на 5 кВт, а затем, когда возникнет необходимость, контейнер будет дооборудован кондиционерами CRV и модулями ИБП, необходимыми для работы высоконагруженных стоек. При заполнении первого контейнера будет установлен второй, далее - третий.

Хотя в данном решении заказчику предложены инженерные системы Emerson Network Power, как подчеркивает Дмитрий Степанов, МЦОДы компании «Президент-Нева» исполняются и с использованием оборудования других производителей - в частности, таких компаний, как Eaton, Legrand и Schneider Electric. При этом учитываются корпоративные стандарты заказчика по инженерным подсистемам, а также все технические требования производителя.

«Техносерв»

Модульный ЦОД «ИТ Экипаж» - это комплексное решение на основе быстровозводимых конструкций с предустановленными (на заводе) инженерными системами. Один модуль ЦОД включает в себя серверный блок для установки ИТ-оборудования, а также инженерный блок для обеспечения его бесперебойной работы. Блоки могут быть установлены рядом на одном уровне (горизонтальная топология) или друг на друге (вертикальная топология): внизу инженерный блок, вверху - серверный. Для нашего заказчика выбрана вертикальная топология.

На рассмотрение заказчика представлены два варианта реализации МЦОД «ИТ Экипаж»: комплектации «Стандарт» и «Оптимум». Основное их отличие - в системе кондиционирования: в варианте «Стандарт» реализована система прецизионного кондиционирования с использованием чиллерной воды, в «Оптимуме» - система с использованием фреонового холодоносителя.

Серверный блок один и тот же. В одном блоке могут быть установлены до 18 серверных стоек для размещения активного оборудования. Машинный зал предлагается сформировать из 2 серверных блоков. Серверные блоки и коридорный блок располагаются на втором этаже и объединяются в единое технологическое пространство (машинный зал) путем демонтажа перегородок (см. рис. 7).

В пространстве под фальшполом серверного блока МЦОД «Стандарт» установлены кондиционеры (водяного охлаждения). В МЦОД «Оптимум» охлаждение ИТ-оборудования осуществляется с помощью прецизионных кондиционеров, размещаемых в инженерном блоке. Системы кондиционирования зарезервированы по схеме 2N.

Инженерный блок разделен на 3 отсека: для установки СБЭ; средств холодоснабжения и (опционально) сухой градирни. В отсеке СБЭ находится шкаф с ИБП, аккумуляторные батареи и щитовое оборудование. СБЭ имеет резервирование N+1.

В отсеке холодоснабжения МЦОД «Стандарт» установлены два чиллера, гидромодуль, аккумулирующие баки. Реализованная система холодоснабжения позволяет достичь уровня резервирования 2N в пределах одного модуля ЦОД и 3N в пределах двух соседних модулей ЦОД - за счет объединения контуров системы охлаждения. В системе холодоснабжения реализована функция фрикулинга, позволяющая существенно сократить эксплуатационные расходы и увеличить ресурс холодильных машин.

Выше уже говорилось о высоком (40-процентном) уровне локализации инженерных систем МЦОД «ИТ Экипаж». Однако представители «Техносерв» так и не раскрыли информацию о том, кондиционеры и ИБП какого производителя они используют. Видимо, этот секрет заказчик сможет узнать в ходе более детальной проработки проекта.

«Утилекс»

Модульный ЦОД NOTA создается на базе быстровозводимой легкодемонтируемой каркасной конструкции, которая перевозится в стандартном ISO-контейнере. Его основу составляет металлический каркас, который собирается на месте установки из готовых элементов. Основание состоит из герметичных несущих панелей, которые монтируются на ровной площадке, выполненной из теплоизоляционных плит «Пеноплэкс», уложенных в 3 слоя в шахматном порядке. Фундамент не требуется! Стены и кровля МЦОД выполнены из сэндвич-панелей. Для установки оборудования в ЦОД монтируется фальшпол.

Проект по созданию ЦОД предлагается реализовать в 5 этапов. На первом этапе создается инфраструктура МЦОД для размещения 10 стоек со средним потреблением 5 кВт на стойку и возможностью увеличения потребления 2 стоек до 20 кВт каждая (см. рис. 8). СБЭ реализуется на базе модульного ИБП производства «Связь Инжиниринг» и АКБ, обеспечивающих автономную работу на протяжении 15 мин (с учетом потребления технологического оборудования - кондиционеры, освещение, СКУД и т. д.). При необходимости поддержки ИТ-нагрузки 20 кВт в 2 стойках, в состав ИБП добавляются силовые модули и дополнительные батареи.

Система кондиционирования реализуется на базе 4 прецизионных рядных кондиционеров Сlever Breeze производства «Утилекс» c охлаждающей способностью 30 кВт каждый. Внешние блоки располагаются на торцевой стене МЦОД. Входящие в состав кондиционеров Clever Breeze контроллеры служат основой для системы дистанционного мониторинга и управления. Последняя обеспечивает мониторинг температуры холодного и горячего коридоров, состояния ИБП и влажности в помещении; анализирует состояние и хладопроизводительность кондиционеров; выполняет функции системы контроля и управления доступом в помещение.

На втором этапе устанавливается второй модуль МЦОД на 5 стоек с нагрузкой 5 кВт (в этом и последующих «квантах» расширения предусмотрена возможность увеличения нагрузки на 1 стойку до 20 кВт). При этом площадь модуля имеет резерв для размещения еще 5 стоек (см. рис. 9), которые будут установлены на третьем этапе. Четвертый и пятый этапы развития ЦОД аналогичны второму и третьему. На всех этапах используются рассмотренные выше элементы инженерной инфраструктуры (ИБП, кондиционеры), которые наращиваются по мере необходимости. ДГУ устанавливается в расчете сразу на всю планируемую мощность ЦОД - специалисты «Утилекс» выбрали агрегат WattStream WS560-DM (560 кВА/448 кВт), размещаемый в собственном климатическом контейнере.

Как отмечают специалисты «Утилекс», инфраструктура МЦОД NOTA позволяет наращивать площадь модулей по мере увеличения числа стоек за счет добавления необходимого количества несущих панелей в основание. Это дает возможность равномерно распределять капитальные затраты на создание модулей по этапам. Но в данном варианте создание меньшего модуля (с габаритами 5,4х4,2х3 м) экономически нецелесообразно, поскольку небольшое снижение капитальных затрат на модуль будет «компенсировано» потребностью дважды инвестировать в систему пожаротушения (на втором и третьем этапах).

Важным преимуществом МЦОД «Утилекс» NOTA в условиях ориентации на импортозамещение является производство большинства подсистем центра обработки данных в России. Автономная инфраструктура МЦОД NOTA, стойки, системы кондиционирования, дистанционного мониторинга и управления производятся самой «Утилекс». СБЭ - компанией «Связь Инжиниринг». Система автоматического газового пожаротушения - компанией «Пожтехника». Вычислительная и сетевая инфраструктура ЦОД также может быть реализована на базе решений российского производства - компании ETegro Technologies.

GreenMDC

Заказчику предложен модульный ЦОД Telecom Outdoor NG, состоящий из модулей Telecom (предназначен для размещения стоек с ИТ-оборудованием), Cooling (системы охлаждения) и Energy (СБЭ, электрощиты). Все модули изготавливаются на производстве GreenMDC, а перед отправкой заказчику МЦОД собирается на тестовой площадке, где осуществляется полное тестирование. Затем МЦОД разбирается и модули транспортируются до места назначения. Отдельные модули представляют собой металлические конструкции с установленными и подготовленными для транспортировки стенами (см. рис. 10).

Система отвода тепла от оборудования реализована на базе прецизионных шкафных кондиционеров HiRef с подачей холодного воздуха под фальшпол. СБЭ - на модульных ИБП Delta. Распределительная электрическая сеть выполнена резервированными шинопроводами - подключение стоек производится путем установки на шинопроводы ответвительных коробок с автоматическими выключателями.

В рамках первого этапа проекта выполняются подготовка площадки, установка ДГУ, а также 3 модулей ЦОД (см. рис. 10): модуль Telecom на 16 стоек (10 стоек по 5 кВт, 6 стойко-мест остаются незаполненными); модуль Cooling с 2 кондиционерами по 60 кВт и модуль Energy с 1 модульным ИБП. ИБП состоит из шасси на 200 кВА и 3 модулей по 25 кВт (для ИБП Delta DPH 200 значения в киловаттах и в киловольт-амперах идентичны). Для обеспечения бесперебойной работы инженерных систем устанавливается 1 модульный ИБП: шасси на 80 кВА и 2 модуля на 20 кВт.

На втором этапе расширение осуществляется в рамках имеющихся модулей МЦОД: в модуль Telecom добавляются еще 6 стоек. Повышение электрической мощности достигается путем добавления силовых модулей в модульные ИБП, а мощности охлаждения - увеличением числа кондиционеров. Все коммуникации (фреонопроводы, электрика) для кондиционеров прокладываются еще на первом этапе. При необходимости установки стойки с высоким потреблением реализуется аналогичный алгоритм увеличения мощности. Кроме того, практикуется изоляция холодного коридора и, при необходимости, установка активных плиток фальшпола.

На третьем этапе устанавливается второй модуль Telecom, что позволит разместить в МЦОД до 32 стоек. Увеличение мощности инженерных систем происходит аналогично тому, как это делалось на втором этапе - вплоть до максимальной проектной мощности МЦОД. Операция расширения МЦОД выполняется сотрудниками поставщика без прерывания функционирования установленных модулей. Срок производства и установки дополнительного модуля Telecom - 10 недель. Установка модуля - не более одной недели.

Huawei

Мобильный ЦОД Huawei IDS1000 состоит из нескольких стандартных 40-футовых контейнеров: один или несколько контейнеров для ИТ-оборудования, контейнер для СБЭ, контейнер для системы холодоснабжения. При необходимости также поставляется контейнер для дежурного персонала и склада.

Для нашего проекта выбран вариант ИТ-контейнера на 18 стоек (6 рядов, в каждом 3 стойки) - см. рис. 11. На первом этапе предлагается разместить 10 стоек для ИТ-оборудования, 7 рядных кондиционеров, шкафы распределения питания, баллоны АГПТ и прочее вспомогательное оборудование. На втором и последующих этапах - добавить 8 стоек и 5 рядных кондиционеров в первый контейнер, установить второй контейнер и разместить в нем необходимое количество стоек с кондиционерами.

Максимальная мощность одного ИТ-контейнера составляет 180 или 270 кВт, а значит, от каждой стойки можно отвести до 10 и 15 кВт соответственно. В предложении Huawei отдельно не рассматривается размещение стоек на 20 кВт, но, поскольку допустимая мощность на каждую стойку выше запрошенных заказчиком 5 кВт, нагрузку можно перераспределить.

Холодоснабжение рядных кондиционеров осуществляется от системы чиллеров, расположенных на каркасе отдельного контейнера. Кроме того, в отдельном контейнере размещается СБЭ (ИБП и АКБ). ИБП конфигурируется в зависимости от расчетной нагрузки с шагом 40 кВт (максимально 400 кВА).

В состав решения Huawei включила систему управления нового поколения NetEco, которая позволяет контролировать функционирование всех основных систем: электроснабжения (ДГУ, ИБП, PDU, АКБ, распределительные щиты и АВР), холодоснабжения (кондиционеры), безопасности (СКУД, средства видеонаблюдения). Кроме того, она способна отслеживать состояние окружающей среды, используя различные датчики: дыма, температуры, влажности и протечки воды.

Главная особенность и преимущество предложения Huawei заключаются в том, что все основные компоненты, включая кондиционеры и ИБП, от одного производителя - самой компании Huawei.

Schneider Electric

В основе предложенного МЦОД - типовые модули NON-ISO25 всепогодного исполнения с высокими огнеупорными характеристиками (EI90 согласно EN-1047-2). Доступ контролируется СКУД с биометрическим датчиком. Модули доставляются на место установки независимо, затем стыкуются, образуя единый конструктив.

Первая стадия - самый объемный и затратный этап, на котором выравнивается и укрепляется основание (наливается стяжка), устанавливаются два чиллера (агрегаты Uniflair ERAF 1022A с функцией фрикулинга), ДГУ, энергомодуль и один ИТ-модуль (10 стоек), полностью монтируется вся трубная проводка. Энергомодуль и ИТ-модуль образуют три помещения: энергоцентр, машинный зал, входной шлюз/тамбур (см. рис. 12).

В помещении энергомодуля устанавливаются ИБП APC Symmetra 250/500 (с комплектом батарей и байпасом), щитовое оборудование, система газового пожаротушения, основное и аварийное освещение, система охлаждения (2 (N+1) кондиционера SE AST HCX CW 20kW). От ИБП запитываются ИТ-оборудование, кондиционеры и помпы. ИТ-модуль первой стадии поставляется с 10 предустановленными стойками (AR3100), PDU, шинопроводом, системой изоляции горячего коридора и системой охлаждения на базе SE AST HCX CW 40kW (2+1). Указанные кондиционеры специально разработаны для модульных ЦОД: они крепятся над стойками и в отличие, скажем, от рядных кондиционеров не занимают полезное место в ИТ-модуле.

На второй стадии к первому ИТ-модулю пристыковывается второй, который поставляется с 5 стойками, а в остальном комплектуется так же, как первый (только на данной стадии активируются 2 (1+1) из 3 кондиционеров). Кроме того, устанавливается еще один чиллер, а модульный ИБП дооснащается необходимым комплектом батарей и инверторов. Третья стадии развития ЦОД сводится к добавлению во второй ИТ-модуль 5 стоек и активации третьего кондиционера. Четвертая и пятая стадия аналогичны второй и третьей.

В качестве системы управления предложен комплекс StruxureWare класса DCIM.

В результате заказчик получит решение, полностью соответствующее его требованиям, от одного из мировых лидеров в области модульных ЦОД. На данном этапе Schneider Electric не предоставила информацию о стоимости решения.

ЗАКЛЮЧЕНИЕ

Выше были кратко рассмотрены основные конструктивные особенности предложенных ЦОД, а также их систем охлаждения и электропитания. Более подробно эти системы представлены в описаниях проектов, доступных на сайте . Там же дана информация о других системах, включая средства газового пожаротушения, систему контроля и управления доступом (СКУД), комплексную систему управления и т. д.

Заказчик получил 9 проектов, в основном удовлетворяющих его требования. Представленные описания и характеристики продуктов убедили его в главном: современные модульные решения позволяют получить полнофункциональный ЦОД, при этом сроки реализации проекта в несколько раз меньше, чем при традиционном подходе (с капитальным строительством или реконструкцией здания), а средства можно вкладывать постепенно, по мере роста потребностей и соответствующего масштабирования ЦОД. Последнее обстоятельство для него чрезвычайно важно в нынешних условиях.

Александр Барсков - ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: