Проект модернизации инженерной инфраструктуры ЦОД Московского физико-технического института (МФТИ)

Компания iCore, российский системный интегратор полного цикла, ориентированный на инновационные решения в области ИТ и мультимедиа, в сотрудничестве с компанией Softline, которая выступила генеральным подрядчиком в данном проекте, завершила модернизацию инженерной инфраструктуры центра обработки данных (ЦОД) Московского физико-технического института (МФТИ) — главной серверной площадки ведущего технического вуза страны.

При модернизации дата-центра МФТИ были использованы самые новейшие достижения в области энергообеспечения, кондиционирования и коммуникационных технологий.

Задачи заказчика:

1. Модернизация инженерной инфраструктуры существующего центра обработки данных с целью соответствия более высоким требованиям по надежности работы вычислительного кластера, а также для обеспечения возможности установки более энергоёмкого ИТ-оборудования.

2. Увеличение ёмкости (мощности) площадки для обеспечения централизации вычислительных ресурсов университета с учетом планов будущего развития ИТ-инфраструктуры.Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

Большой опыт консорциума компаний iCore и Softline по созданию центров обработки данных и наличие высоких партнерских статусов мировых лидеров индустрии (APC by Schneider Electric, Huber+Suhner и др.) позволило компаниям предложить заказчику наиболее оптимальное решение по цене и используемым технологиям и выиграть государственный конкурс.

Компания iCore выполнила следующий комплекс работ:

1. Разработка и согласование проектной документации по модернизации ЦОД.

2. Модернизация основных инженерных подсистем:

Система охлаждения и климат-контроля:	организация «горячего» коридора, монтаж системы водяного охлаждения на чиллерах с функцией фрикулинга.
Система распределения электропитания:	сборка и монтаж вводно-распределительного устройства (ВРУ), подключение всех технологических потребителей по новой схеме электроснабжения.
Система бесперебойного электроснабжения:	установка параллельной системы ИБП для питания ИТ-нагрузки, а также второй системы ИБП для обеспечения бесперебойной работы инженерной инфраструктуры.
Структурированная кабельная система:	инсталляция масштабируемой кабельной системы на основе решений компании Huber+Suhner. Медные компоненты решения категории 6А компании H+S были использованы в этом проекте впервые в России.
Автоматизированная система диспетчерского управления:	создание системы автоматики и диспетчеризации всех инженерных систем на базе модульных контроллеров Delta Controls.

Ряд существующих систем дата-центра (в частности, система автоматического газового пожаротушения) были успешно интегрированы в новую инфраструктуру, что позволило сохранить сделанные ранее заказчиком инвестиции в объект строительства.

Площадка полностью готова к установке вычислительного кластера и переносу ИТ-оборудования с других площадок университета.

Новая архитектура дата-центра МФТИ характеризуется уникальной надежностью, высокой энергоэффективностью и легкой масштабируемостью.

Надежность

1. Системы электропитания и охлаждения ЦОД МФТИ организованы на базе инфраструктуры InfraStruXure (ISX) Type B компании Schneider Electric, известной во всем технологическом мире высочайшим уровнем надежности своего оборудования.

Решения Schneider Electric не только надежны, но также чрезвычайно эргономичны и изящны.

На базе инфраструктуры ISX на объекте построены:

система бесперебойного электроснабжения;

система распределения электроснабжения (электрические щиты);

система размещения ИТ-оборудования (серверные и телекоммуникационные шкафы);

система холодоснабжения (чиллеры);

система охлаждения (межрядные кондиционеры);

система изоляции «горячего» коридора.

2. Ключевые инженерные подсистемы зарезервированы по схеме 100%-го дублирования 2N (чиллеры, ИБП, кабельная система) и по схеме N+1 (межрядные кондиционеры, фанкойлы). ЦОД МФТИ соответствует третьему уровню надежности (TIER 3) согласно международному стандарту TIA-942 на инфраструктуру центров обработки данных, а показатель бесперебойной работы составляет 99,982%, что полностью соответствует новым задачам вычислительного кластера университета.

Энергоэффективность

В дата-центре МФТИ использованы лучшие энергосберегающие технологии:

1. Локализация «горячего» коридора — самая энергоэффективная система охлаждения серверного оборудования из всех известных по соотношению цена/качество.

2. Водяная система охлаждения на чиллерах производства Uniflair by Schneider Electric с функцией фрикулинга — возможность экономии до 30% годового энергопотребления.

По оценке компании iCore, показатель Power Usage Effectiveness (PUE) дата-центра МФТИ по итогам модернизации составляет 1.5, что свидетельствует об очень высоком уровне энергоэффективности площадки. Будущая статистика созданной системы автоматики и диспетчеризации докажет обоснованность проектных решений и заявленный уровень энергоэффективности данного объекта.

Масштабируемость

Инженерная инфраструктура ЦОД построена на базе модульных компонентов (межрядные кондиционеры, чиллеры, ИБП, кабельная система, контроллеры автоматики).

Модульная архитектура закрывает все текущие потребности заказчика на 100% и не требует использования излишнего дорогостоящего оборудования.

Центральный дата-центр МФТИ готов к дальнейшему наращиванию вычислительных мощностей — быстрому и гибкому.

Система охлаждения и климат-контроля

В машинном зале и помещении ИБП дата-центра МФТИ поддерживается постоянный микроклимат: температура воздуха находится в пределах +20…+25°C, относительная влажность колеблется в диапазоне от 40% до 65%. Таким образом, ИТ-оборудование МФТИ надежно защищено от перегрева и выхода из строя: возможность выпадения росы (когда слишком холодно и влажно) и появления статического разряда (когда слишком жарко и сухо) исключена.

1. Охлаждение машинного зала

«Горячий» коридор

Разделение потоков горячего и холодного воздуха — ключевой фактор энергоэффективности ЦОД. Инженеры iCore выбрали для внедрения в машинном зале систему изоляции «горячего» коридора, позволяющую добиться самой высокой экономии электричества по сравнению с любыми другими системами кондиционирования.

Выбор вендора — APC by Schneider Electric — не случаен. Первая система изоляции «горячих» коридоров (HACS, Hot-Aisle Containment System) запатентована как раз этой компанией.

Построенный «горячий» коридор представляет собой два ряда из 18-ти стоек APC 42U, расположенных «спиной к спине», с 8-ю межрядными кондиционерами APC InRow RС между ними.

«Горячий» коридор изолирован от внешней среды специальными дверями по торцам и панелями сверху. Внутрирядные кондиционеры забирают тепло из этого коридора, отдают наверх для охлаждения и выдувают охлажденный воздух во внешнее помещение, который затем под статическим давлением подаётся к лицевой стороне стоек. Активное ИТ-оборудование забирает холодный воздух, протягивает его через свой вентилятор и выдает уже нагретый воздух в «горячий» коридор.

Межрядные кондиционеры работают на холодной воде. Отвод тепла осуществляется под фальш-полом через систему водяного охлаждения: одна труба подает холодную воду, другая забирает нагретую воду.

Чиллеры

Базовым элементом водяной системы охлаждения является холодильная машина — чиллер. В дата-центре МФТИ установлено два чиллера производства компании Uniflair by Schneider Electric (один рабочий, другой резервный) холодопроизводительностью 185 кВт каждый. Чиллеры размещены на крыше здания и работают с ротацией 24 часа.

Задача чиллера — перенос тепла от охлаждаемой воды к наружному воздуху. Для этой цели внутри чиллера циркулирует фреон, который меняет свое агрегатное состояние, т. е. то переходит из жидкого в газообразное (испаряется), то наоборот из газообразного в жидкое (конденсируется). При испарении фреона происходит поглощение энергии, при его конденсации — выделение.

Система водяного охлаждения дата-центра МФТИ спроектирована по двухконтурной схеме. В качестве теплоносителя внешнего контура используется 40%-ный раствор этиленгликоля. Во внутреннем контуре охлаждения циркулирует вода. Такая схема, с одной стороны, позволяет исключить замерзание теплоносителя, идущего по трубам снаружи здания при отрицательных температурах, с другой стороны, уменьшает зону использования опасного для здоровья этиленгликоля, ограждая его от машинного зала обычной водой.

Чиллеры, установленные на крыше, прогоняют через себя 40%-ный раствор этиленгликоля, охлаждая его до определенной температуры, и возвращают обратно. Теплообменник сообщает температуру этиленгликоля воде, которая, в свою очередь, с помощью насосной станции поступает в межрядные кондиционеры, забирает тепло из «горячего» коридора и поднимается наверх.

Фрикулинг

В холодное время года при температуре воздуха +5 ̊С и ниже чиллеры дата-центра МФТИ переходят в режим свободного охлаждения (free cooling), при котором теплоноситель охлаждается за счет наружного воздуха.

Режим фрикулинга позволяет исключить работу компрессоров, которые являются главными потребителями электроэнергии в чиллере, и тем самым получить охлажденную воду практически бесплатно. Единственными потребителями электроэнергии остаются вентиляторы и фрикулинговый насос.

2. Охлаждение помещения ИБП

Наиболее оптимальным решением, по мнению инженеров iCore, стало внедрение в помещении ИБП системы кондиционирования чиллер – фанкойл. В качестве кондиционеров используются два канальных фанкойла Carrier (Италия), которые производят подачу холодного воздуха и забор горячего для последующего охлаждения в холодильной машине. Третий фанкойл находится в резерве.

Система бесперебойного энергоснабжения

Новый ЦОД МФТИ рассчитан на потребление 180 кВт. Из них 141 кВт приходится на электропитание 16-ти серверных шкафов и 2-х коммутационных шкафов.

Система электроснабжения выполнена на модульных компонентах APC by Schneider Electric.

При отказе основного источника электропитания дата-центр автоматически переходит на энергоснабжение с помощью ИБП. Ёмкость аккумуляторов ИБП рассчитана на питание всего дата-центра в течение 15 минут.

Для энергоснабжения ИT-нагрузки используются два модульных ИБП Symmetra PX 160 кВт.

Электропитание инженерного оборудования (циркуляционные насосы чиллеров и насосы водяного контура) осуществляется с помощью модульного ИБП MGE Galaxy 3500 20 кВт.

Инженеры iCore предусмотрели возможность обслуживания и модернизации системы бесперебойного энергоснабжения без вывода всего комплекса из режима основной работы.

Структурированная кабельная система

Транспортная среда дата-центра МФТИ выполнена на базе новинки компании Huber+Suhner — модульной кабельной системы из серии LiSA Solutions, продажи которой начались только в конце 2013 года. «Сердце» системы составляют экранированные медные кабели категории 6а Huber+Suhner с улучшенными параметрами передачи данных. Это первая инсталляция системы в России. Специалисты iCore передали результаты инсталляции в штаб-квартиру Huber+Suhner в Швейцарию и получили сертификат на 25-летнюю гарантию.

Наряду с медной подсистемой, СКС дата-центра МФТИ включает в себя волоконно-оптические кабельные сборки и претерминированные волоконно-оптические кабели Huber+Suhner. Скорость передачи данных составляет 10 Гбит/с.

Соединение шкафов между собой организовано с помощью желтого пластмассового кабельного лотка Huber+Suhner, установленного на крыше «горячего» коридора.

Организация медной и оптической подсистемы осуществлена с помощью четырех кроссовых зон, расположенных в двух коммутационных шкафах.

Автоматизированная система диспетчерского управления

Специалисты iCore внедрили в дата-центре МФТИ автоматизированную систему диспетчерского управления (АСДУ) на основе новых модульных контроллеров производства компании Delta Controls.

Построенная система автоматики позволяет вести централизованное наблюдение за состоянием оборудования всех инженерных подсистем объекта:

системы холодоснабжения,

системы электроснабжения,

системы контроля климатических параметров ЦОД, в том числе внутри шкафов.

Принимая во внимание все возможные риски, связанные с водяной системой холодоснабжения, специалисты iCore уделили особенное внимание установке датчиков обнаружения протечки, предназначенных для защиты оборудования ЦОД от возможных протечек воды при авариях в системах водопровода и отопления. При попадании влаги на ленточный датчик протечки система диспетчеризации немедленно получает сигнал о затоплении.

Система визуализации организована с помощью программного обеспечения ORCAview, предоставляющего возможность удаленного управления состоянием ЦОД. Автоматизированное рабочее место (АРМ) оператора ORCAview совмещает в себе простоту использования мнемосхем и мощь системного инструмента реального времени.

Гарантийная и сервисная поддержка

Softline совместно с iCore обеспечивают сервисное и гарантийное обслуживание ряда ранее имеющегося в дата-центре МФТИ и всего комплекса нового оборудования в течение 5-ти лет. Наличие собственных служб поддержки позволяет интеграторам гарантировать заказчику время реакции на запрос не более 1 часа в режиме 7/365.

Новая инженерная инфраструктура центра обработка данных МФТИ, построенная согласно новейшим мировым трендам, является залогом быстрой и бесперебойной работы информационных систем университета.

Компания iCore предлагает российским компаниям реализацию всех этапов создания дата-центра: от выбора площадки до сдачи объекта «под ключ».