Создание и модернизация ЦОД

Этапы создания ЦОД

Процесс создания центра обработки данных многоступенчатый. Он включает 5 основных этапов:

• Планирование – составление технического задания и выработка концепции строительства. Если не будет этого этапа, то вся идея создания ЦОД обречена на провал. Поэтому нужно уделить ему особое внимание. Организаторами детально прорабатываются цели, методы и средства для создания этого проекта, определяется внутренняя структура комплекса. При планировании учитываются региональные особенности и спектр деятельности организации, проводится экономическая оценка и обоснование инвестиций. В конечном итоге выбирается площадка для строительства, отвечающая всем необходимым требованиям.

• Конструирование – согласование всех составляющих ЦОД с целью создания единого комплекса и ввода его в эксплуатацию. Другими словами, это решение задач, поставленных на этапе планирования ЦОД. Также проводится испытание компонентов с учетом нагрузки, определение возможности удовлетворения текущих и будущих запросов бизнеса, делается прогноз способности IT-инфраструктуры отвечать запросам развивающейся деятельности организации в целом. Кроме того, рассчитываются различные риски при введении ЦОД в эксплуатацию и пути их снижения. Выполняется подготовка необходимой документации, связанной с функционированием отдельных компонентов: оборудования, программного обеспечения, инженерных систем. Весь процесс конструирования заканчивается созданием проекта, который согласовывается с заказчиком и с контролирующими органами.

• Реализация – наиболее трудоемкий этап в процессе создания ЦОД. Он сводится к комплектации и поставке необходимого оборудования, монтажу, внедрению основных компонентов, тестированию их и созданию организационной структуры.

• Эксплуатация – это непосредственное обслуживание комплекса и организация работы подразделений. На этом этапе регламентируются проверки всех систем. Сроки устанавливаются в зависимости от типа компонентов. Проводится техническое обслуживание серверов. В результате плановых проверок заполняется журнал регламентных работ.

• Модернизация – структурные и технические изменения ЦОД, направленные на улучшение его работы. По статистическим данным новейшее оборудование морально устаревает в срок до 5 лет. За этот период организация развивается, прогрессирует ее деятельность, расширяется сеть филиалов. Соответственно возрастают и IT-потребности. Для этого необходимо вовремя проводить процесс модернизации IT-инфраструктуры.

Будем исходить из того, что состав оборудования и программного обеспечения определен. Задача состоит в том, чтобы построить надежный, безопасный ЦОД.^[1]ИТ-директор «Роснефти» Дмитрий Ломилин выступит на TAdviser SummIT 28 ноября

Во-первых, строительные конструкции здания или будущего серверного помещения должны соответствовать требованиям нормативов по несущей способности перекрытий, пределу огнестойкости и т.д. Во-вторых, нужно учесть, что к площадке, на которой планируется строить ЦОД, должны быть подведены необходимые внешние коммуникации - электроснабжение требуемой категории, каналы связи и т.д. В-третьих, внутри здания или помещения должна быть построена отказоустойчивая инженерная инфраструктура.

Цена вопроса зависит от исходного состояния площадки. Наиболее дорогостоящие работы - обеспечение дополнительной электроэнергией, включая реконструкцию существующей электроустановки здания. Стоимость инженерной инфраструктуры если и меняется из-за особенностей площадки, то, как правило, незначительно.

Правильно, чтобы строительство ЦОД опиралось на известные методики управления проектами. Но у нас в стране так поступают только тогда, когда строительство - инвестиционный проект. Большинство владельцев ЦОДов, особенно если речь идет о корпоративном центре обработки данных или серверной комнате, приступает к делу без лишних раздумий: на этом этаже у нас есть свободное помещение, значит, здесь и будем строить. Проектно-изыскательские работы обычно не проводятся, экономия видится заказчику очевидной - площадь уже арендована либо находится в собственности, ЦОД или серверная располагаются здесь же, поди плохо.

О том, пригодно ли это помещение, и легко ли будет его оборудовать инженерными системами, мало кто думает. Понятно, почему. Корпоративный ЦОД - вообще продукт долгой эволюции. Сначала хватало одного сервера, потом оборудовали серверную, потом ее расширили, потом расширили еще разок, но больше расширить не могут - и тут-то решают строить ЦОД. Вопрос, где его строить, обсуждается редко. Конечно, в том же здании и хорошо бы на смежной площади.

Часто случается, что из-за дефицита площадей в офисных зданиях местом строительства будущего ЦОДа выбирают, скажем, столовую или другое помещение, не слишком пригодное для установки серверов. В практике "Инсистемс" был даже случай, когда нам пришлось перестраивать под серверное помещение… санузел. Такие проекты исполнителю интересны нетривиальностью, но заказчику, надо признать, обходятся недешево. Скажем, если к помещению подведена вода (а в случае с санузлом, как вы понимаете, так оно и было), эти коммуникации необходимо полностью перенести, иначе ЦОД будет под постоянной угрозой затопления.

В тех случаях, когда ЦОД размещается на втором или более высоком этаже, нужно в обязательном порядке проводить исследование несущей способности конструкций. В общем-то, такое исследование следует провести, даже когда речь идет о первом этаже или подвале - несущая способность фундамента тоже может оказаться недостаточной, особенно в зданиях старой постройки. Если не организовать такую превентивную проверку, есть риск обрушения перекрытий и стен. Серверы, системы охлаждения и резервного питания весят много больше мебели.

Причем исследование лучше провести даже тогда, когда есть результаты более ранних изысканий. Если по документам десяти- пятнадцатилетней давности стена помещения, где планируется строить ЦОД, должна выдержать необходимый вес, это еще не значит, что и правда выдержит. Под нагрузкой в стене может образовываться трещина, и тогда придется укреплять конструкцию в экстренном порядке, да еще и в помещении, куда уже завезли оборудование. Получится несколько дороже, чем могло бы быть.

Нужно также учитывать специфику строительства ЦОД. Скажем, необходимо будет просверлить в стенах каналы достаточно большого диаметра для прокладки кабелей. Если не изучить особенности здания или помещения заранее, из-за этого не исключено ощутимое проседание перекрытий. Придется домкратами возвращать их на место и усиливать металлическими конструкциями.

Ключевые вопросы

Энергоснабжение ЦОД

Система энергообеспечения в любом случае имеет наиболее высокий приоритет в процессе планирования ЦОД, его эксплуатации. Требуется обеспечить необходимую энергетическую мощность, озаботиться вопросами подачи электроэнергии на случай возникновения экстренных ситуаций: устроить дополнительные вводы (в идеале - от разных трансформаторных подстанций), установить резервные генераторы, системы бесперебойной подачи электроэнергии.

Параллельно с планированием и обеспечением мощности, вновь возникает вопрос размещения ЦОД: при обустройстве ЦОД в действующем офисе, недостаток мощностей становится одним из наиболее важных аспектов жизнеобеспечения системы. Затраты на подключение одной и той же дополнительной мощности могут различаться в разы. Можно считать достаточно экономичным вариант, если рядом имеется действующая подстанция с резервом мощности – необходимо лишь обеспечить прокладку кабеля. В других случаях доходит до реконструкции или строительства новой трансформаторной подстанции (ТП). Здесь важно учитывать, что одновременно с вводом мощности требуется оснащение ЦОД защитой от электромагнитного излучения – с высокой вероятностью оно может привести к повреждению и потере данных, сбоям в работе электронного оборудования.

Помимо этого, опыт взаимодействия с поставщиками электроэнергии говорит, что после детальной оценки расходов и рисков, связанных с обустройством систем энергоснабжения, логичнее бывает перенос площадки ЦОД на другую территорию, где подвод мощности возможен за вменяемую стоимость.

Средства защиты от пожара

В отношении средств пожаротушения помещений и зданий ЦОД, нормативы достаточно жестки: необходимо оборудование помещений системой автоматического газового пожаротушения. Применение воды в системах пожаротушения ЦОД недопустимо из-за последующего повреждения оборудования и данных.

Использование систем газового пожаротушения требует проведения дополнительных мероприятий:

• требуется предусмотреть механизм сброса избыточного давления, возникающего при срабатывании системы тушения и выбросе газового огнетушащего вещества;
• оборудовать помещение системой газоудаления;
• необходимы правила эвакуации персонала и противогазы для него.

Ограничения по инженерной инфраструктуре

В помещении ЦОД не должно быть транзитных коммуникаций (отопление, водопровод, канализация). Однако для помещений, содержащих серверы, существуют требования по уровню влажности воздуха, так что наличие воды необходимо постоянно. Риск затопления можно предупредить при помощи гидроизоляции, на стадии строительства. Тем не менее, необходима установка датчиков протечек – они способствуют предотвращению залива оборудования, при вероятных порывах труб систем увлажнения воздуха.

Климатические условия и экосистемные требования

Основная статья: Климатические условия и экосистемные требования для ЦОДов

Технологические принципы

• Масштабирование. При создании ЦОД необходимо учесть изменяющиеся со временем потребности в ресурсах. Поэтому либо используют максимальную мощность устройств, либо модульную систему. Это значит, что в процессе развития есть возможность добавлять требуемые модули без замены существующего оборудования. Такая система более экономически целесообразна, поскольку, как известно, нет предела совершенству.

• Виртуализация. Отличное решение при недостатке площадей и мощностей. С ее помощью можно сократить количество единиц оборудования в ЦОД. Эта технология дает возможность экономить время на установку новых программ в ЦОД, позволяет изолировать потенциально опасные окружения и создавать необходимые аппаратные конфигурации. За счет виртуализации достигается представление устройств, которых нет в ЦОД, а также проводится обучение работе с операционными системами. Виртуальные машины могут быть объединены в сеть.

• Кластеризация. Необходимая основа для бесперебойной деятельности бизнес процессов. Она обеспечивает объединение нескольких серверов в единую систему, путем установки программных связей между ними, координирует их работу, выполняет перераспределение нагрузки в случае сбоя в одном из серверов.

• Резервирование. Залог того, что при выходе из строя одной подсистемы центра, функцию ее возьмет на себя другая, резервная. Есть также понятие резервный ЦОД. Он начинает работать тогда, когда основной ЦОД полностью прекратил работу.

Поставщики решений

Основная статья: Инфраструктура для дата-центров (мировой рынок)

Расходы на модернизацию ЦОД

2018: $75 млрд инвестиций в гипермасштабируемые ЦОДы

В 2017 году капитальные расходы операторов гипермасштабируемых центров обработки данных достигли в общей сложности $75 млрд, что на 19% больше относительно предыдущего года. Такие данные в феврале 2018-го привела аналитическая компания Synergy Research Group. 

На Google, Microsoft, Amazon, Apple и Facebook пришлось порядка 70% инвестиций в крупные ЦОДы. Следом по объему затрат расположились Alibaba, IBM, Oracle, SAP и Tencent Holdings. Также аналитики отмечают следующие компании: Baidu, eBay, JD.com, NTT, PayPal, Salesforce, Yahoo Japan и Yahoo/Oath. 

Капвложения Alibaba в свои дата-центры в 2017 году удвоились, а Oracle и SAP увеличили инвестиции сильнее, чем в среднем по рынку.

Динамика изменения капитальных расходов операторов крупнейших гипермасштабируемых дата-центров, данные Synergy Research Group

В исследовании также говорится, что капитальные расходы владельцев гипермасштабируемых ЦОДов в 2017 году соответствовали примерно 7% суммарной выручки компаний. При этом доля варьировалась с 2% до 17% в зависимости от типа бизнеса.

Всего аналитики рассмотрели 24 крупнейшие в мире облачные и интернет-компании, включая ведущих поставщиков услуг IaaS, PaaS и SaaS, владельцев поисковых систем, социальных сетей и сервисов электронной коммерции. 

К концу 2017 года количество гипермасштабируемых дата-центров в мире выросло до 400. Большая часть инвестиций операторов идет на строительство новых и расширение уже запущенных объектов.

Гипермасштабируемые дата-центры в основном используют для разработки и обучения искусственного интеллекта, работы с Интернетом вещей и в других областях, где нужно обрабатывать большое количество данных. Такие ЦОДы, в отличие от корпоративных дата-центров, имеют тысячи и сотни тысяч серверов, используют гомогенные облачные приложения, не требующие высокой готовности от единичного узла, и являются не универсальными, а специфичными для определенной компании и работы в облаках.

По словам аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), небольшим игрокам облачного рынка трудно конкурировать c лидерами из-за отсутствия крупных финансовых ресурсов, которые есть у гигантов.^[2]

Тенденции модернизации ЦОДов

2017

«АМДтехнологии»: 5 ключевых трендов ЦОДостроения на 2018 год

Инжиниринговая компания «АМДтехнологии», поставщик инфраструктурных и инженерных решений для ЦОД, в декабре 2017 года назвала основные тренды ЦОДостроения в 2018 году.

Поскольку ИТ стали неотъемлемой частью развития всех секторов экономики, государственная программа цифровизации и принятие программы «Цифровая экономика» становятся логичным шагом на пути развития ИТ-отрасли. Если в 2017 году основные постулаты программы носили скорее рекомендательный характер, то в 2018 году требования станут обязательными и дадут определенный импульс к развитию других направлений и трендов, считают в компании. Так, очевидно, возникнет потребность в ЦОДах, как в основополагающей части ИТ-инфраструктуры и материально-технической базы для новых продуктов и сервисов.

Стандарты построения ЦОДов

В 2017 году на государственном уровне заговорили о вводе стандартов, которые регламентировали бы ключевые показатели жизнеспособности инженерных систем и значительно упрощали составление ТЗ к проекту и последующую приемку. В 2018 году с высокой вероятностью эти стандарты будут приняты. В «АМДтехнологиях» прогнозируют, что производственные компании на первом этапе разделятся на тех, кто успел «перестроиться», и тех, кто не успел. Возможен некоторый «передел» рынка. Но главное — стандарты приведут к более прозрачным критериям выбора поставщиков услуг по построению и обслуживанию дата-центров, уменьшится вероятность сговора и монополизации.

BIM (информационное моделирование зданий)

В 2018 году использование технологии BIM в проектировании окончательно станет корпоративным стандартом для большинства крупных компаний-заказчиков. Это связано с удобством работы, с повышением прозрачности проектирования и строительства зданий ЦОДов на всех этапах — вплоть до ввода в эксплуатацию. C помощью BIM можно будет избежать многих ошибок, возникших в результате проектирования разделов разными компаниями, и четко идентифицировать сторону, которая ошибку допустила. Это даст определенный антикоррупционный эффект в отрасли — за счет выявления решений, которые явно не вписываются в общую концепцию, особенно в работе по госзаказу. По мнению «АМДтехнологий», во многом принятию BIM как обязательного стандарта при проектировании объектов инфраструктуры способствует государство.

«Зеленые» и энергоэффективные ЦОДы

Еще недавно ЦОДов уровня Tier IV было всего 2 в стране, а уровня Tier III можно было пересчитать по пальцам. По состоянию на конец 2017 года Tier III стал нижней планкой реализации инфраструктуры, а энергоэффективные ЦОДы стали трендом. Россия не успевает за темпами Европы, где «зеленые» ЦОДы составляют едва ли не 50% рынка. Тем не менее, в 2018 году среди новых проектов «АМДтехнологии» прогнозируют рост количества «зеленых» дата-центров на 15%-20%.

В Европе уже давно перешли на температурный диапазон 27-28 градусов по Цельсию в зонах «холодного» коридора. В некоторых компаниях допускают и 32 градуса — производители серверного оборудования тестами подтверждают, что это вполне рабочая температура. В России у многих компаний-арендаторов ЦОДов эти цифры еще вызывают шок. В то же время, вопрос экономии электроэнергии все равно поднимается и довольно часто. По прогнозам «АМДтехнологий», драйвером роста в данном случае могут стать планируемые повышения цен на электроэнергию.

Также ожидается, что в 2018 году будут популярны технологии умного охлаждения, например, LSV (Low Speed Ventilation). В таких разработках благодаря оптимальному распределению воздушных потоков охлаждение происходит более равномерно, а производительность системы охлаждения фактически подстраивается под текущую загрузку ИТ-оборудования, что снижает потребление электроэнергии.

Сокращение цепочек подрядчиков

Тренд по упрощению цепочки поставки услуг наметился еще в 2017 году — у заказчиков все четче формулировалась потребность в поставщике по принципу «одного окна», когда одна компания отвечает за все — и за проектирование, и за поставку, и за пуско-наладку, и за ввод в эксплуатацию. В 2018 году заказчики будут еще чаще нанимать инжиниринговые компании напрямую, минуя генподрядчиков и других посредников — меньше конкурсов, меньше проблем со взаимодействием, меньше ошибок и потраченных впустую денег, считают в «АМДтехнологиях».

Кадровый голод

Последние годы в отрасли отмечается недостаток качественных кадров, если 2-3 года назад компании не закрывали всего 2% своих потребностей, то в этом году эта цифра выросла до 10%. В 2018 году ожидается значительное увеличение этого показателя — вплоть до 15%. Недостаток кадров наиболее остро чувствуется в сегменте руководителей среднего звена — руководители проектов, ведущие архитекторы и так далее, а также в сегменте топ-менеджмента.

Rittal: тенденции рынка цодостроения

Компания Rittal выделила ряд тенденций на рынке центров обработки данных в России. Как в августе рассказал Александр Нилов, старший менеджер Rittal по продукции / ИТ-инфраструктура, в компании учитывали тот факт, что российский рынок ЦОД, как и мировой, подвержен влиянию цифровой трансформации в экономике и промышленности. Кроме того, на формирование тенденций влияет предъявление бизнесом всё больших требований к обработке огромного количества данных, а также к инфраструктуре дата-центров и сервисам.^[3]

Скорость в строительстве и обслуживании

Одним из главных трендов в области строительства инженерной инфраструктуры, по словам представителя Rittal, становятся pre-fab ЦОДы. Для заказчиков критически важным фактором становится не только качество работы, но и скорость. Pre-fab ЦОД полностью разрабатывается на производстве — все испытания проходят на заводе, и клиент получает готовое решение с продуманной инфраструктурой, где все компоненты, такие как стойки, контроль микроклимата и электрораспределение, представляют собой единый готовый модуль. В комплект поставки опционально входят серверы, сетевое оборудование и системы хранения. При этом полный цикл постройки модульного ЦОДа, начиная от проектирования и заканчивая запуском, может занять всего 6-8 месяцев.

В Rittal также отметили тренд по строительству коммерческих дата-центров, на фоне которого развиваются облачные услуги. Дата-центр как услуга — выгодное решение, так как позволяет бизнесу получить высококачественную инфраструктуру за меньшие деньги. Клиенты коммерческих дата-центров получают целый спектр услуг: от вычислительных мощностей и хранения данных до сетевого оборудования. Коммерческие модули собираются на заводе, испытываются, могут быть масштабированы под требуемые площади и поставлены в сжатые сроки. Модули включают систему контроля микроклимата и электрораспределительное оборудование, а также все сопутствующие системы, необходимые для работы ИТ-оборудования.

Однако, не все заказчики готовы переходить на коммерческие дата-центры и облачные технологии из-за специфики бизнеса или внутренней политики компании. Несмотря на то, что услуги коммерческих дата-центров набирают обороты, существует ряд задач и моделей использования ЦОД, которые предполагают строительство собственных вычислительных центров, указал Александр Нилов.

Умное производство и защита информации

По информации Rittal, защита данных в России строится на двух принципах — надежность инженерного оборудования и работа системных администраторов, то есть защита от сетевых угроз. В России умеют создавать хорошие решения и есть отличные примеры ЦОДов со всевозможными уровнями резервирования, бесперебойного питания, систем кондиционирования, инженерных снабжений и т.д. Однако мало кто задумывается непосредственно о физической защите персональных данных, отметили в компании.

Например, можно построить надежный ЦОД, но если он будет располагаться на первом этаже здания, под всей остальной инфраструктурой компании, то в случае технической аварии, например, прорыв труб водоснабжения, вся инженерная структура подобного ЦОДа будет совершенно бессмысленна.

В европейских компаниях на уровне стандартов прописано, как должно быть защищено оборудование от воздействие внешних факторов. Развита система страхования ЦОДов на случай уничтожения критически важной информации компании.

По мнению экспертов Rittal, скоро компании и в России станут больше внимания уделять физической защите, так как клиенты стали предъявлять более строгие требования к ЦОДам. В первую очередь, это качество и надежность решения, когда клиент уверен в характеристиках и технических требованиях к смежным подсистемам. Второе требование — стабильность компании-производителя на рынке. Мало продать оборудование, важно предоставлять качественный клиентский сервис и помощь в инжиниринге. Особенно на предпродажной стадии заказчик рассчитывает на техническую помощь, консультацию, расчет дополнительного оборудования. Если оборудование заказное (в ЦОДах, как правило, много заказного инженерного оборудования), важны сроки поставки, логистика, клиентский сервис и последующее пост-продажное обслуживание, например, доступность запасных частей и техническая поддержка.

Резюмируя, хотелось бы отметить, что с каждым годом требования заказчиков к оборудованию и сервису растут — это стимулирует производителей разрабатывать новые решения, оптимизировать существующее оборудование, вкладываться в исследования и разработки, повышать уровень оказываемого сервиса и инжиниринга, — заключил Александр Нилов, старший менеджер Rittal по продукции / ИТ-инфраструктура.

2015: Начало перехода к ресурсо-центричной архитектуре ЦОДов

Основная статья: Дезагрегация серверов и ее причины

В 2014-2015 годах неожиданно для большинства началась трансформация представлений о том, какой в перспективе должна быть аппаратная инфраструктура ЦОДов. Еще совсем недавно о чем-то ином, нежели серверы, устанавливаемые в 19-дюймовые стойки (rack server или rack-mounted), и речи не могло быть. Их легко объединить в физические кластеры, что позволяет минимизировать объем сетевого оборудования, занимаемую площадь, упрощает охлаждение и рационально с экономической точки зрения.

Но, начиная с 2015 года, у этой казавшейся незыблемой парадигмы наметилась альтернатива, начался пока еще плавный переход от сложившейся кластерной серверо-центричной архитектуры ЦОДов (server-centric architecture) к ресурсо-центричной архитектуре (resource-centric architecture). Подробнее здесь.

Примечания