Крок (Mellanox)

Компания «Крок» совместно с компанией Mellanox реализовала новую файловую систему на базе Ceph.

Ход проекта

Проект стартовал в сентябре-октябре 2014 г. В рамках проекта в InfiniBand-фабрику было добавлено 10 серверов для Ceph-кластера (по 5 в каждый из двух дата-центров, на которых размещены мощности облачной платформы «Крок»). В каждом ЦОДе организована собственная сеть InfiniBand, связывающая узлы кластера для хранения данных (Ceph) и кластера виртуальных машин. Посредством четырех шлюзовых коммутаторов Mellanox SX1012 c VPI-лицензиями (по два на каждый ЦОД) сети дата-центров были объединены в единый контур. Коммутаторы выполняют роль Proxy-ARP шлюза, который может транслировать трафик из сети Ethernet в Infiniband-сегмент. При этом различные ключи (partition keys) позволяют разделять трафик кластеров хранения данных и виртуальных машин. Коммутаторы, объединенные в логический кластер, балансируют трафик, добавляя решению большей отказоустойчивости.^[1]

Итоги проекта

По отзыву представителей «Крок», в результате проекта удалось выйти на скорость ребаланса, которую до этого не удавалось получить: 1 диск в 2 ТБ «ребалансится» за 3-4 часа (без потери скорости для заказчиков, которые постоянно используют файловое хранилище).

Реализованная в «Крок» файловая система на базе Ceph стала ядром SDS-решения (Software-defined storage, программно-определяемая СХД), на базе которого компания выполнила модернизацию своего виртуального дата-центра (IaaS) весной 2016 г.

Примечания