Банк «Санкт-Петербург» с помощью Arenadata Hadoop развивает технологии работы с данными

2024: Перевод корпоративного хранилища данных на Arenadata Hadoop

Банк «Санкт-Петербург» в рамках развития ИТ-инфраструктуры осуществил миграцию функционала корпоративного хранилища данных на продукт Arenadata Hadoop (ADH) от российского производителя программного обеспечения Arenadata. В результате проекта банку удалось создать и передать в промышленное использование стабильную, отказоустойчивую платформу, соответствующую требованиям систем класса Business Critical.

Банк «Санкт-Петербург»

Предпосылки проекта

«Решение о внедрении новой платформы управления данными, одновременно с запуском серии проектов по централизации разрозненных хранилищ на ее базе, позволило упростить ИТ-ландшафт на ряду с повышением его эффективности. А также помогло создать масштабируемое решение для активно модернизируемой ИТ-архитектуры БСПБ», — отметил старший вице-президент Банка «Санкт-Петербург» Александр Рыбаков.

В банке исторически существовало корпоративное хранилище данных (КХД), построенное на базе данных Oracle. На тот момент оно покрывало необходимый объём задач, но команда организации понимала, что платформа достигла максимума своих функциональных возможностей и перестала удовлетворять потребностям бизнес-заказчиков. Требовалось более гибкое решение для ускорения поставки данных пользователям и возможности подключения различных сервисов обработки и хранения. Например, стриминг, хранение полуструктурированных данных, полнотекстовый поиск и др. Также важно было перейти к горизонтально масштабируемой архитектуре с учетом подключения новых источников к платформе и роста объема данных.

Выбор нового продукта

Ян Гузов

В результате было принято решение создать новую платформу данных на базе технологий Apache Hadoop, которые позволили бы реализовать необходимую функциональность и горизонтальное масштабирование, способствующее развитию внутренней инфраструктуры. Офис CDO Банка «Санкт-Петербург» выбрал продукт Arenadata Hadoop (ADH) российского разработчика Arenadata.

«Важным критерием выбора была гарантия того, что продуктовая экспертиза останется на российском рынке независимо от внешних условий. Было понятно, что Arenadata — отечественный вендор, который вовремя будет предоставлять нам актуальные версии своего дистрибутива, своевременную и качественную техподдержку, а также сумеет обучить наших специалистов лучшим практикам в использовании продукта. Сейчас мы хорошо видим, что решение было стратегически верным в контексте сегодняшних задач по импортозамещению», — рассказал CDO Банка «Санкт-Петербург» Ян Гузов.

Миграция

Глеб Смирнов

Реализация проекта по миграции заняла несколько лет, поскольку перед офисом CDO банка и другими подразделениями была поставлена задача перевести на новую платформу весь имеющийся функционал КХД, в том числе относящийся к классу Business Critical.

«Интересная особенность нашей новой платформы данных заключается в том, что она построена без использования горячего слоя данных, предоставляемого в архитектуре BI-слоем. Однако в настоящее время команда банка задумывается о добавлении универсального горячего слоя данных, для чего проводит пилотный проект по использованию СУБД Arenadata QuickMarts (ADQM)», — отмечает владелец платформы Hadoop в Дата-офисе Глеб Смирнов.

Сегодня разработанную платформу данных для построения корпоративной отчётности используют многие подразделения Банка «Санкт-Петербург». С её помощью они решают разные задачи: построение отчетности, проведение маркетинговых кампаний, ad-hoc запросы для аналитики, обучение ML-моделей и другие.

Станислав Габдулгазиев

К платформе подключено уже более 10 источников, загружены архивные данные, что позволяет в том числе обрезать данные на источниках и снижать общую стоимость хранения данных в Банке.

«Обеспечение отказоустойчивости и высокой доступности данных — одна из наиболее приоритетных задач для финансовых организаций. Банк «Санкт-Петербург» на базе Arenadata Hadoop построил надёжную платформу, полноценно отвечающую требованиям, предъявляемым к системам Business Critical», — считает эксперт департамента поддержки продаж Arenadata Станислав Габдулгазиев.

Arenadata Hadoop (ADH) — это полноценный дистрибутив на базе Apache Hadoop, адаптированный для корпоративного использования. Он предназначен для хранения и обработки слабоструктурированных и неструктурированных данных. Среди ключевых задач, которые решает Arenadata Hadoop, можно назвать:

• Экономически эффективное хранение и производительную обработку данных различных форматов.
• Возможность масштабирования до петабайтов данных при помощи стандартного оборудования.
• Обеспечение отказоустойчивости и высокой доступности данных. Данные, хранящиеся в любом узле, дублируются в других узлах кластера. Это помогает избежать остановки работы систем ввиду аппаратных и программных сбоев. Если что-то случилось с одним из узлов, то всегда есть резервная копия данных, доступная в кластере.