| Название базовой системы (платформы): | Apache Kylin |
| Разработчики: | Сбербанк-Технологии (СберТех) |
| Технологии: | BI, Big Data |
«Сбертех», ИТ-«дочка» Сбербанка, занимается развитием нового продукта на базе софта с открытым кодом Apache Kylin – распределенного хранилища аналитических данных для работы с OLAP-кубами, следует из описания ряда вакансий, размещённых в июле 2023 года[1]. Этот продукт призван полностью заменить используемые в данный момент в банке OLAP-решения, с которыми ежедневно работает несколько тысяч пользователей, указано в описании.
Архитектору решения[2] и архитектору OLAP в рамках проекта предстоит решать «нетривиальные и интересные задачи в области DWH, Data engineering, BI и визуализации данных». От них требуется опыт работы с OLAP-хранилищами, такими как MS SQL Server Analysis Services, Hyperion, IBM Cognos, SAP BO и пр.
Apache Kylin – это движок OLAP на платформе больших данных Hadoop, который поддерживает работу с очень большими датасетами. Он предоставляет интерфейсы SQL-запросов и возможности многомерного анализа (OLAP) в Hadoop для поддержки крупномасштабных данных, подходит для аналитических задач, в которых задействованы терабайты и даже петабайты данных, может запрашивать огромные таблицы Hive за доли секунды и поддерживает высокий уровень параллелизма.
Софт Kylin изначально был разработан R&D-подразделением компании eBay и в 2014 году внесён в сообщество открытого исходного кода[3]. Помимо eBay среди пользователей продукта – Yahoo! и Xiaomi.
Сбербанк несколько лет разрабатывал собственную платформу для работы с большими данными – Sber Data Platform (SDP) и внедрял импортонезависимые решения, основанные на собственных сборках инструментов open source или на уникальных разработках своих специалистов. Собственная платформа работы с данными Сбербанка включает основные инструменты работы с данными: SDP Hadoop и SDP Greenplum – сервисы хранения и обработки больших данных различного типа; SDP Analytics — инструменты визуализации и анализа данных; SDP Data Quality – сервисы контроля качества данных; SDP DataFlow – инструменты интеграции и трансформации данных; DataLabAI — инструменты ML и ИИ и пр.[4].
По состоянию на июнь 2023 года объемы «Фабрики данных» Сбербанка колоссальны — свыше 150 Пбайт.
Стек технологий нового продукта, помимо Apache Kylin, включает: технологии для хранения бизнес данных PostgreSQL, HDFS, Hive и ClickHouse, а для интеграция данных – Hadoop, ClickHouse и Modrian. Облачные сервисы для бизнеса: особенности рынка и крупнейшие поставщики. Обзор TAdviser 
Помимо использования внутри банка, новый продукт будет поставляться также на внешний рынок в экосистеме Platform V – облачной платформы Сбербанка. Линейка продуктов Platform V пополняется новыми решениями ежегодно.
 | Нам предстоит адаптировать «ванильный» Open Source–продукт не только под требования банка но и enterprise-рынка (масштабируемость, аутентификация, аудит, безопасность и пр.), - говорится в описании вакансии архитектора OLAP Сбербанка. |  |
В «Сбертехе» заявили TAdviser, что разрабатываемый продукт дополнит их портфолио и обеспечит анализ в режиме реального времени на основе данных из высоконагруженных баз.
Примечания
Подрядчики-лидеры по количеству проектов
Прогноз (250) Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125) RBC Group Украина (124) БизнесАвтоматика НПЦ (119) Консультационная группа АТК (100) Другие (2538) Сапиенс солюшнс (Sapiens solutions) (9) Форсайт (8) Navicon (Навикон) (7) Корус Консалтинг (6) Доверенная среда (5) Другие (101) БизнесАвтоматика НПЦ (12) Форсайт (8) ФТО (5) Manzana Group (М Софт) (4) Optimacros (Оптимакрос) (3) Другие (74)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Qlik (QlikTech) (59, 464) Форсайт (19, 340) SAP SE (70, 303) Oracle (65, 267) Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236) Другие (1116, 1648) SAP SE (6, 13) Qlik (QlikTech) (2, 8) Форсайт (2, 8) Microsoft (2, 6) Триафлай (1, 5) Другие (50, 78) БизнесАвтоматика НПЦ (1, 12) Форсайт (3, 8) Optimacros (Оптимакрос) (1, 6) Microsoft (1, 5) Manzana Group (М Софт) (3, 4) Другие (40, 50) Optimacros (Оптимакрос) (1, 10) Форсайт (2, 8) Analytic Workspace (ОСТ) (2, 5) Manzana Group (М Софт) (2, 5) БизнесАвтоматика НПЦ (1, 5) Другие (38, 59) Simetra (ранее А+С Транспроект) (1, 12) Форсайт (2, 9) VMware (2, 7) БизнесАвтоматика НПЦ (1, 7) Инфомаксимум (Infomaximum) (1, 7) Другие (38, 61)Распределение систем по количеству проектов, не включая партнерские решения
QlikView - 370 Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 321 Deductor - 226 Visary BI Платформа бизнес-аналитики - 119 SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103 Другие 2012 SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8 Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7 Qlik Sense - 6 Триафлай BI-платформа - 5 Microsoft Power BI - 5 Другие 85 Visary BI Платформа бизнес-аналитики - 12 Optimacros Платформа для оптимизационного и консолидационного планирования - 6 Microsoft Power BI - 5 Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 5 Qlik Sense - 4 Другие 51 Подрядчики-лидеры по количеству проектов
БизнесАвтоматика НПЦ (120) Большая Тройка (46) Умная Логистика (14) Сбербанк (14) Доверенная среда (13) Другие (482) Доверенная среда (5) Большая Тройка (4) Цифра (4) Ростелеком (3) БизнесАвтоматика НПЦ (3) Другие (54) БизнесАвтоматика НПЦ (12) OneFactor (Уанфактор) ЕдиныйФактор (3) РИР (Росатом Инфраструктурные решения) (3) Сбербанк (2) Яндекс (Yandex) (2) Другие (44)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
БизнесАвтоматика НПЦ (2, 119) Большая Тройка (2, 46) Умная Логистика (2, 14) Триафлай (1, 13) Сбербанк (10, 10) Другие (255, 138) Триафлай (1, 5) Большая Тройка (2, 4) Цифра (1, 4) БизнесАвтоматика НПЦ (1, 3) Умная Логистика (2, 2) Другие (6, 8) БизнесАвтоматика НПЦ (1, 12) РИР (Росатом Инфраструктурные решения) (2, 3) Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2) МегаФон (2, 1) Нетрика Медицина (1, 1) Другие (7, 7) БизнесАвтоматика НПЦ (1, 5) РИР (Росатом Инфраструктурные решения) (3, 4) Сбербанк (2, 2) Цифра (1, 2) DataCatalog (ДатаКаталог) (1, 2) Другие (17, 18) БизнесАвтоматика НПЦ (1, 7) Сбербанк (3, 3) Цифра (1, 2) Retail Rocket (Ритейл Рокет) (1, 2) TData (ТДата) (1, 2) Другие (18, 21)Распределение систем по количеству проектов, не включая партнерские решения
Visary BI Платформа бизнес-аналитики - 119 Большая Тройка: АИС Редактор территориальных схем - 39 Триафлай BI-платформа - 13 ZIIoT Платформа для работы с промышленными данными - 10 Luxms BI - 8 Другие 135 Триафлай BI-платформа - 5 ZIIoT Платформа для работы с промышленными данными - 4 Visary BI Платформа бизнес-аналитики - 3 Большая Тройка: АСУ Управление отходами - 2 Цифровая Траектория: Action Track (ATC) - 2 Другие 10 Visary BI Платформа бизнес-аналитики - 12 Росатом Цифровое теплоснабжение - 2 PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2 N3.Аналитика - 1 МегаФон: Аналитика городской среды - 1 Другие 6 
