Суперкомпьютерные центры РАН в Москве и Новосибирске объединены защищенным каналом передачи данных

2017

В сентябре 2017 года было объявлено о том, что между двумя крупными российскими Центрами коллективного пользования — Межведомственным суперкомпьютерным центром Российской академии наук (МСЦ РАН, Москва) и Сибирским суперкомпьютерным центром Сибирского отделения РАН (ССКЦ СО РАН, Новосибирск) — создан высокопроизводительный защищенный канал передачи данных.

Проект создания защищенного канала передачи данных

Этапы и исполнители работ

В апреле 2017 года ресурсы двух центров коллективного пользования — МСЦ РАН в Москве и ССКЦ СО РАН в Новосибирске — были объединены в территориально распределенный вычислительный комплекс, а начиная с июля 2017 года их соединил высокоскоростной защищенный канал передачи данных (10 Гбит/с), созданный специалистами группы компаний РСК, компаний «С-Терра СиЭсПи» и «Милеком», а также Института вычислительных технологий СО РАН.

Назначение

Ожидается, что использование качественно защищенного канала связи позволит российским ученым оптимизировать решение актуальных задач в области фундаментальных и прикладных наук, включая такие передовые направления исследований, как:

• цифровые и интеллектуальные технологии,
• высокотехнологичное здравоохранение,
• повышение экологичности и эффективности энергетики,
• развитие авиапромышленного комплекса,
• освоение космического пространства,
• искусственный интеллект (AI, Artificial Intelligence),
• машинное и глубокое обучение (Deep Learning),
• работа с большими данными и другие.

Многие из расчетных задач содержат конфиденциальную информацию, поэтому создание защищенного канала передачи данных между двумя суперкомпьютерными центрами было необходимо для расширения возможностей использования объединенных вычислительных ресурсов. В дальнейшем это позволит объединять и другие российские региональные суперкомпьютерные центры в единую защищенную сеть передачи данных.

Ключевые задачи нашего центра — обеспечивать новые возможности для проведения исследований и разработок, предоставлять исследовательским коллективам РАН мощные ресурсы для решения различных научных и прикладных задач, а также обеспечивать организацию эффективной работы российских ученых из разных регионов страны. Введение в эксплуатацию защищенного канала передачи данных между МСЦ РАН и ССКЦ СО РАН, после недавней модернизации объединенных в территориально распределенный суперкомпьютерный комплекс, полностью соответствует текущим потребностям и растущим запросам наших пользователей не только в повышении скорости обработки данных, но и в обеспечении высокого уровня защиты конфиденциальной информации, — отметил Борис Шабанов, директор Межведомственного суперкомпьютерного центра Российской академии наук.

В тех случаях, когда расчетные задачи наших пользователей требуют гораздо больших вычислительных ресурсов, чем может предоставить ССКЦ, мы обеспечиваем возможности для использования дополнительных мощностей путем перераспределения нагрузки и запуска приложений на суперкомпьютерном комплексе МСЦ РАН. Организованный между нашими центрами защищенный канал передачи данных обеспечивает полную конфиденциальность передаваемой информации в соответствии с требованиями научных организаций и других наших заказчиков», — подчеркнул Борис Михайлович Глинский, исполнительный директор ЦКП «Сибирский Суперкомпьютерный Центр» ИВМиМГ СО РАН.

Тестирование

В результате проведенного тестирования была продемонстрирована возможность передавать данные по защищенному каналу со скоростью до 4 ТБ в час (около 9 Гбит/c) между двумя центрами, расположенными друг от друга на расстоянии порядка 3000 км. Защита информации обеспечивается в соответствии с отечественными криптографическими алгоритмами ГОСТ Р 34.10-2012, ГОСТ Р 34.11-2012, VKO_GOSTR3410_2012_256, ГОСТ 28147, реализованными в криптошлюзах С-Терра на базе унифицированных высокопроизводительных серверов «РСК Торнадо».

Планы

В дальнейшем в МСЦ и ССКЦ планируется реализация защищенной VDI-инфраструктуры для организации удаленной работы с ресурсами суперкомпьютерных центров в условиях растущих киберугроз. Защита высокопроизводительного канала передачи данных реализована на базе специализированного шлюза безопасности «С-Терра Шлюз 10G», который сочетает в себе инновационные технологии обработки сетевых пакетов и ГОСТ-шифрование по стандартным протоколам IPsec. Достижение высоких показателей производительности шифрования передаваемых данных стало возможным благодаря, в том числе, балансировке VPN-шлюзом вычислительной нагрузки между ядрами современных процессоров Intel Xeon.

Проект по модернизации суперкомпьютерных систем

В начале 2017 года группа компаний РСК модернизировала суперкомпьютерные системы в МСЦ РАН (Москва) и ЦКП ССКЦ СО РАН (Новосибирск). Они стали основой территориально распределенного вычислительного комплекса, суммарная пиковая производительность которого превысила 1,1 петафлопс. Как результат, российские ученые из учреждений РАН в Москве и Новосибирске, а также из других регионов страны получили возможности для использования ресурсов не только одного, но и, при необходимости, сразу двух суперкомпьютерных центров одновременно.

Ход проектов

С технической точки зрения, оба проекта в суперкомпьютерных центрах РАН в Москве и СО РАН в Новосибирске примечательны тем, что в их рамках реализовано внедрение серверных вычислительных узлов с жидкостным охлаждением в режиме «горячая вода» на базе мощных 72-ядерных процессоров Intel Xeon Phi 7290, а также на основе 16-ядерных процессоров Intel Xeon E5-2697А v4. Кроме того, в ходе проектов впервые в России и СНГ коммуникационные подсистемы двух кластерных комплексов были реализованы на основе высокоскоростного межузлового соединения Intel Omni-Path со скоростью передачи данных 100 ГБит/с.

Высокая доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений, также обеспечиваются благодаря передовой системе управления и мониторинга на базе ПО «РСК БазИС». Она позволяет осуществлять управление как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления.Метавселенная ВДНХ 3.3 т

Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) — это программно-определяемые компоненты, позволяющие упростить и ускорить как начальное развертывание, так и обслуживание, и последующую модернизацию системы. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

Итоги работ в МСЦ РАН

МСЦ РАН является одним из самых мощных суперкомпьютерных центров коллективного пользования в России в сфере науки и образования. Коллектив МСЦ состоит из высококвалифицированных научных сотрудников, программистов и инженеров. По данным на 2017 год, ресурсами центра пользуются 184 группы исследователей, решающие задачи фундаментальной и прикладной направленности.

В ходе модернизации суммарная пиковая производительность обновленного суперкомпьютерного парка МСЦ РАН, реализованного на базе вычислительных систем «РСК Торнадо» и RSC PetaStream с жидкостным охлаждением, выросла на 40%. В итоге общая производительность вычислительных ресурсов МСЦ РАН превысила 900 терафлопс.

Итоги работ в ЦКП ССКЦ

По данным на 2017 год, услугами ЦКП ССКЦ пользуются 24 института Сибирского отделения РАН (около 200 пользователей). После установки в марте 2017 года новой суперкомпьютерной кластерной системы НКС-1П на базе решения «РСК Торнадо» с жидкостным охлаждением общие вычислительные ресурсы ЦКП ССКЦ СО РАН были увеличены почти в два раза — на 71% до уровня 197 терафлопс.