Заказчики: Жилстройсбербанк ЖССБК (Отбасы Банк, HCSBK) Алматы; Финансовые услуги, инвестиции и аудит Подрядчики: АйТи Про (IT Pro) Продукт: АйТи Про: BI.QubeВторой продукт: Microsoft SQL Server Третий продукт: Attunity Replicate Дата проекта: 2019/09 — 2020/03
|
Технология: Data Quality - Качество данных
Технология: MDM - Master Data Management - Управление основными мастер-данными
Технология: PaaS - Platform As A Service - Бизнес-платформа как сервис
Технология: ИБ - Резервное копирование и хранение данных
|
Содержание |
2020: Разработка и внедрение системы оперативной обработки данных (ODS)
Первоначальной целью проекта была оптимизация времени отклика on-line каналов. Из-за обращения за данными непосредственно в АБС Колвир из Интернет-банка и мобильного банка время отклика для конечного пользователя составляло несколько десятков секунд. За счет непрерывной репликации данных из систем-источников, и целевой оптимизации времени отклика ODS по запросам on-line каналов нужно было уменьшим время отклика до нескольких секунд. В ходе проекта состав задач заметно расширился - на ODS было решено реализовать push-уведомления, оперативные аналитические дашборды, расширить состав систем-потребителей.
В итоге, целью проекта стало обеспечение оперативного доступа к данным всех систем банка как с точки зрения получения единичных значений по интересующим объектам, так и возможность построения оперативной аналитики "на лету".
Уникальность проекта
Уникальным проект делают 2 аспекта:
- Достаточно узкое распространение систем оперативной обработки данных (ODS) на территории СНГ и республики Казахстан в частности. В РФ можно говорить о примерно десятке подобных проектов в достаточно узком сегменте - крупных финансовых организаций. В РК известно о 2х подобных проектах.
- Гетерогенный состав источников и потребителей, работающих на СУБД Oracle, MS SQL, PostgreSQL, MySQL. Кроме того, потребление данных ODS также было реализовано через web-сервисы.
Особенности реализации
В ходе проекта потребовалось не просто реализовать репликацию из источников, а и перенести частично логику работы источников в ODS, оптимизировав при этом производительность. Необходимо было встроить ODS в уже существующий ИТ ландшафт так, чтобы, он негативно не влиял на уже работающие системы. В том числе, выбрать оптимальный способ репликации для минимизации нагрузки на учетные системы, при этом не потеряв в скорости репликации.Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг Для контроля корректности логики работы ODS был реализован обширный набор методов и процедур (более 100), обеспечивающий автоматизированную сверку ODS и учетных систем. Технологически при разработке и наполнении модели данных ODS данные объединялись из разных источников, создавались новые атрибуты по условиям, формировались сводные представления, делался промежуточный расчет результатов некоторых сложных функций и делалась материализация, проводилась дедубликация.
Описание проекта
В ходе проекта была организована репликация данных из 10 систем источников на разных СУБД, всего более 400 таблиц. На ODS были разработаны, перенесены и оптимизированы сотни хранимых процедур и десятки представлений (views), более сотни web-сервисов. Реализовано более 6 OLAP-кубов и 11 визуальных дашбордов. В течение рабочего для с отставанием не более 10 секунд реплицируются десятки миллионов записей. Обеспечено отправление push-уведомлений по 9 разным событиям.
Для операционной деятельности ЖССБ достигнуты следующие результаты:
- В Интернет-банке скорость получения информации при авторизации: ранее было до 40 секунд, сейчас 5-8 секунд;
- Дашбордами с оперативной информацией пользуются более 1000 сотрудников, они видят оперативную информацию по депозитам, притокам, в том числе по агентской сети;
- Учетные системы банка, такие, как CRM и портал недвижимости получают информацию из ODS, это дает более высокую оперативность, и позволяет излишне не нагружать АБС.
- На собственной инфраструктуре ЖССБ реализована отправка как оперативных, по событию, так и плановых, по расписанию, push-уведомлений.
С точки зрения оперативной аналитики реализованы инструменты визуального управления для:
- Мониторинга времени ожидания и обслуживания клиентов и мониторинга простоев терминалов;
- Мониторинга работы сети консультантов и мониторинга оценок обслуживания отделений;
- Мониторинга звонков колл-центра, оценок работы операторов, мониторинга работы операторов видеобанкинга.
Бизнес-пользователи, как основные, отмечают следующие плюсы от внедрения ODS:
- Повышение качества и оперативности управленческих решений;
- Существенное снижение времени отклика on-line каналов;
- Геймификация процесса работы консультантов: соревновательные аспекты.
С точки зрения ИТ и архитектуры нужно отметить, что:
- Появились новые возможности за счет оперативного доступа к информации;
- Архитектура созданного ODS - целиком открытая и масштабируемая, и позволяет добавлять источники, потребителей, новые объекты в модель данных, дашборды и т.п.
Поэтому мы считаем цель, поставленную в начале проекта, по обеспечению оперативного удобного доступа ко всей интересующей информации, полностью достигнутой.