"Московская биржа" и GlowByte реализовали пилотный проект на Hadoop Data Proc

2020: Пилотный проект по расчету метрик ликвидности для маркетмейкерских программ

В конце 2020 года Московская биржа и GlowByte реализовали пилотный проект по расчету метрик ликвидности для маркетмейкерских программ. Для пилота компании выбрали DataProc - PaaS - решение от Yandex.Cloud для больших данных на базе технологии Hadoop. Об этом компания GlowByte сообщила 6 сентября 2021 года.

В ноябре 2020 года встал вопрос о поиске решения, которое позволило бы гибко управлять производительностью в зависимости от потребностей и SLA (Соглашение об уровне обслуживания).

Благодаря партнерству GlowByte и Yandex.Cloud за два месяца удалось на обезличенных данных адаптировать алгоритмы расчетов под технологию распределенных вычислений Spark. Это позволило управлять временем расчета за счет регулирования вычислительной мощности узла и общим количеством узлов в вычислительном кластере.

Реализация проекта позволила Московской бирже не только найти решение и уложиться в нужный SLA, но и рационально использовать вычислительные мощности, за счет подбора оптимальной конфигурации оборудования по соотношению эффективности расчетов к TCO инфраструктуры.

Все больше наших клиентов рассматривают или уже используют технологии облачных вычислений для решения своих задач. Облачные подходы к обработке данных позволяют сократить time to market решения за счет использования готовых PaaS платформ, не тратя время и ресурсы на инфраструктурные работы. Платформа Yandex.Cloud отвечает требованиям к задачам анализа данных и развивается в соответствии с последними трендами, и компания Глоубайт рада принимать в этом активное участие, сказал Евгений Вилков Ведущий Архитектор Глоубайт.

Наличие готовой PaaS платформы в Yandex.Cloud позволило в самый короткий срок получить инфраструктуру и необходимое ПО для проведения R&D и поиска решения. Команда GlowByte предоставила адресную экспертизу по Hadoop, S3, Java Spark, а Биржа экспертизу по задаче и предметной области. Нам удалось в короткий срок найти и апробировать решение, реализовать MVP, провести моделирование нагрузки, определить оптимальную конфигурацию целевой инфраструктуры с точки зрения издержек. Мы внимательно следим за развитием технологий информационной безопасности данного направления и верим, что в скором будущем мы сможем использовать облака не только для R&D, но и для промышленных решений, что позволит еще сильнее уменьшить TCO целевого решения, отметил Сергей Орешкин, Директор Департамента по работе с данными Московской биржи.

Технологическое партнерство с Glowbyte позволило нашему заказчику в сжатые сроки реализовать перенос решения на технологический стек на базе Apache Spark. Мы благодарны компании Glowbyte за профессиональный подход к этому и другим проектам, которые позволяют нашим клиентам эффективно использовать облачную платформу данных от Яндекс, добавил Всеволод Грабельников, Старший архитектор решений Yandex.Cloud.