Как мы построили мультиоблако в России

Мотивация для начальной миграции

Облачный CRM-сервис «Битрикс24» изначально запускался как международный, его пользователи говорят на русском, немецком, английском и еще 15-ти языках. Поэтому система сразу разворачивалась в глобальном облаке AWS – это произошло в 2012 г. Тогда на российском рынке аналогичных предложений просто не было, а создавать собственную площадку – долго и затратно по ресурсам.

Миграция в части персональных данных пользователей на территорию РФ произошла еще в 2015 г. – во исполнение требований 242-ФЗ и 152-ФЗ.

С технической точки зрения – скорости, производительности – было очевидно, что лучше, когда данные находятся ближе к клиентам. Ситуация особенно обострилась в последние годы, когда мировой интернет стал все больше распадаться на сегменты.

Именно эти факторы вкупе со стратегией одновременного использования двух независимых провайдеров для обеспечения максимальной надежности и резервирования стали основным мотивом для частичной миграции инфраструктуры «Битрикс24» на MCS.

«Поначалу, если бы в России присутствовал Amazon, мы с удовольствием выбрали бы их, – признался Александр Демидов, руководитель направления облачных сервисов «Битрикс24». – Однако AWS у нас не было, поэтому мы смотрели на российских облачных провайдеров. При этом мы не рассматривали крупных провайдеров, поскольку хотели гибкого, персонализированного отношения. Выбирали среди тех, у кого имеется минимум две площадки для размещения ресурсов, потому что наша архитектура предусматривает резервирование в разных дата-центрах».

Требования к облаку

Компания рассматривала возможность использования двух ключевых сервисов – инфраструктура как сервис (виртуальные машины, диски, вычислительные мощности) и объектное файловое хранилище для хранения данных.

Основным требованием поначалу было наличие файлового хранилища, способного работать с огромными объемами – петабайт данных и миллиард объектов.

Оказалось, что мало кто из российских провайдеров на тот момент был способен работать с такими величинами. Большинству из них требовались доработки программного обеспечения.

И в этот момент MCS запускает объектное хранилище, совместимое с API S3 (сегодня – Cloud Object Storage, на тот момент – Hotbox), которое по всем параметрам соответствовало запросам «Битрикс24».

Вторую волну миграции на облако MCS обусловило, во-первых, требование к отказоустойчивости сервиса. Второй момент – необходимость резервирования инфраструктуры и, соответственно, наличие в облаке масштабируемых IaaS-сервисов, способных выдержать большую нагрузку.

«Объектное хранилище нам требовалось достаточно серьезное по параметрам устойчивости, производительности, масштабируемости, – сказал Александр Демидов, руководитель направления облачных сервисов “Битрикс24”. – И мы поняли, что не хотим сами решать эти задачи. Нам был нужен провайдер, который уже предоставляет подобную публичную услугу. При этом мы не хотели, чтобы проект делали конкретно под нас, потому что успешно развиваются достаточно массовые услуги».

О постепенности миграций

Итак, миграция «Битрикс24» в облако MCS включала два больших самостоятельных этапа, разных по своей сути и разнесенных по времени.

Первый этап состоял в перемещении из облака AWS пользовательских документов и архивов.

Второй – перевод части вычислительных мощностей из дата-центра другого российского провайдера – стартовал летом 2018 года. Каждый из этих этапов осуществлялся пошагово.

Идея второй волны миграции на MCS возникла в целях обеспечения резервирования в двух независимых облаках для максимальной надежности и доступности сервиса.

Идея заключалась в том, чтобы создать мультиоблако в домашнем регионе на базе двух разных российских провайдеров, то есть добавить к действующей на тот момент локальной площадке вторую – облако MCS.

Была разработана процедура миграции, согласно которой на Mail.ru Cloud Solutions сначала была перенесена лишь часть пользовательских порталов.

Первый этап занял примерно два месяца. На нем была протестирована схема, когда инфраструктура частично работает на двух площадках. Специалисты оценили возможности резервирования, переключения в случае аварии. На следующем этапе, который длился около полугода, было осуществлено окончательное дублирование системы на площадку MCS.

«Мы поняли, что, когда вся инфраструктура размещается у одного провайдера, все равно могут возникать сбои на уровне сети, – констатировал Александр Демидов, руководитель направления облачных сервисов «Битрикс24». – И впоследствии мы убедились, что и с другими провайдерами случается нечто подобное, когда сбои затрагивают всю инфраструктуру. Мы решили, что хотим сделать резервирование на уровне двух провайдеров. На тот момент MCS уже запустил виртуальные машины – тот самый классический IaaS. А поскольку у нас был хороший опыт сотрудничества с MCS по объектному хранилищу, мы решили протестировать виртуальные машины, и в итоге все прошло успешно».

Итоговая картинка

На сегодня в объектном хранилище Cloud Storage MCS, хранятся данные пользователей сервиса в России. Все зарубежные пользователи продолжают работать с Amazon S3.

Виртуальные машины MCS используются в качестве одного из двух базовых элементов отказоустойчивой инфраструктуры «1С-Битрикс» для российского региона (вторая площадка – «Корпсофт24»).

Данные продублированы на этих двух площадках, региональная нагрузка между ними распределена поровну. При этом каждый провайдер в реальном времени реплицирует данные на другую площадку и обратно, поэтому компания в случае сбоя может переключаться между двумя разными облачными платформами в России.

В мультиоблаке работает единая система сквозного мониторинга сервисов с единой консолью. При этом есть точки мониторинга этой системы – два в России, по одному в разных зонах Amazon – в США, Германии, Ирландии. Каждый из них собирает метрики в своем регионе, и дальше они агрегируются в единой системе.

Арендуемый объем в объектном хранилище Cloud Storage MCS – порядка 1,5 петабайт, в части аренды виртуальных машин используется порядка 150 виртуальных серверов.

«Нам предстояло решить две задачи, и первая из них – чтобы в итоге получилось не дороже чем на AWS, – отметил Александр Демидов, руководитель направления облачных сервисов «Битрикс24». – Вторая задача – привязать расходы в каждом регионе к локальной валюте. Нам было очень важно за инфраструктуру в России платить в рублях, чтобы не быть привязанным к колебаниям курсов. Если бы мы для российских пользователей продолжали использовать инфраструктуру Amazon, то даже на одном и том же объеме ресурсов цена менялась бы очень серьезно. Сейчас эта задача решена».

MCS – поддерживает

Со специалистами службы поддержки MCS оперативная связь осуществляется преимущественно по Telegram, реже – по телефону, еще реже – по электронной почте. Все необходимые взаимодействия по разрешению возникающих сложностей осуществляются оперативно.

Например, были сделаны небольшие доработки на уровне совместимости с API Amazon, реализовано предоставление различных прав доступа на разные порталы для сотен тысяч пользователей, внедрен механизм уведомления сторонних сервисов (webhook).

Отметим в завершение темы, что поддержкой инфраструктуры на стороне «Битрикс24» занимаются всего 6 человек – и это всего мультиоблака, а не одного MCS.

«В плане поддержки со стороны MCS – все отлично, – отметил Александр Демидов, руководитель направления облачных сервисов «Битрикс24». – Если вдруг случается нештатная ситуация, поддержка реально работает в режиме 24x7. Даже если это ночь в выходные, реакция очень быстрая – принимается заявка и начинаются работы по решению проблемы».