| Название базовой системы (платформы): | Apache Kylin |
| Разработчики: | Сбербанк-Технологии (СберТех) |
| Технологии: | BI, Big Data |
«Сбертех», ИТ-«дочка» Сбербанка, занимается развитием нового продукта на базе софта с открытым кодом Apache Kylin – распределенного хранилища аналитических данных для работы с OLAP-кубами, следует из описания ряда вакансий, размещённых в июле 2023 года[1]. Этот продукт призван полностью заменить используемые в данный момент в банке OLAP-решения, с которыми ежедневно работает несколько тысяч пользователей, указано в описании.
Архитектору решения[2] и архитектору OLAP в рамках проекта предстоит решать «нетривиальные и интересные задачи в области DWH, Data engineering, BI и визуализации данных». От них требуется опыт работы с OLAP-хранилищами, такими как MS SQL Server Analysis Services, Hyperion, IBM Cognos, SAP BO и пр.
Apache Kylin – это движок OLAP на платформе больших данных Hadoop, который поддерживает работу с очень большими датасетами. Он предоставляет интерфейсы SQL-запросов и возможности многомерного анализа (OLAP) в Hadoop для поддержки крупномасштабных данных, подходит для аналитических задач, в которых задействованы терабайты и даже петабайты данных, может запрашивать огромные таблицы Hive за доли секунды и поддерживает высокий уровень параллелизма.
Софт Kylin изначально был разработан R&D-подразделением компании eBay и в 2014 году внесён в сообщество открытого исходного кода[3]. Помимо eBay среди пользователей продукта – Yahoo! и Xiaomi.
Сбербанк несколько лет разрабатывал собственную платформу для работы с большими данными – Sber Data Platform (SDP) и внедрял импортонезависимые решения, основанные на собственных сборках инструментов open source или на уникальных разработках своих специалистов. Собственная платформа работы с данными Сбербанка включает основные инструменты работы с данными: SDP Hadoop и SDP Greenplum – сервисы хранения и обработки больших данных различного типа; SDP Analytics — инструменты визуализации и анализа данных; SDP Data Quality – сервисы контроля качества данных; SDP DataFlow – инструменты интеграции и трансформации данных; DataLabAI — инструменты ML и ИИ и пр.[4].
По состоянию на июнь 2023 года объемы «Фабрики данных» Сбербанка колоссальны — свыше 150 Пбайт.
Стек технологий нового продукта, помимо Apache Kylin, включает: технологии для хранения бизнес данных PostgreSQL, HDFS, Hive и ClickHouse, а для интеграция данных – Hadoop, ClickHouse и Modrian. Олег Чумаков, «АРБАЙТ»: В 2024 ПК и серверы ARBYTE закупали крупнейшие компании страны 
Помимо использования внутри банка, новый продукт будет поставляться также на внешний рынок в экосистеме Platform V – облачной платформы Сбербанка. Линейка продуктов Platform V пополняется новыми решениями ежегодно.
 | Нам предстоит адаптировать «ванильный» Open Source–продукт не только под требования банка но и enterprise-рынка (масштабируемость, аутентификация, аудит, безопасность и пр.), - говорится в описании вакансии архитектора OLAP Сбербанка. |  |
В «Сбертехе» заявили TAdviser, что разрабатываемый продукт дополнит их портфолио и обеспечит анализ в режиме реального времени на основе данных из высоконагруженных баз.
Примечания
Подрядчики-лидеры по количеству проектов
Прогноз (250) Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125) RBC Group Украина (124) БизнесАвтоматика НПЦ (119) Консультационная группа АТК (100) Другие (2552) БизнесАвтоматика НПЦ (12) Форсайт (8) ФТО (5) Manzana Group (М Софт) (4) Optimacros (Оптимакрос) (3) Другие (74) Manzana Group (М Софт) (5) БизнесАвтоматика НПЦ (5) Simetra (ранее А+С Транспроект) (4) OptiTeam Consulting, Оптитим Консалтинг (ранее MCB Consulting, ЭмСиБи Консалтинг) (4) Форсайт (4) Другие (65)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Qlik (QlikTech) (59, 464) Форсайт (19, 340) SAP SE (70, 303) Oracle (65, 267) Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236) Другие (1118, 1662) БизнесАвтоматика НПЦ (1, 12) Форсайт (3, 8) Optimacros (Оптимакрос) (1, 6) Microsoft (1, 5) Manzana Group (М Софт) (3, 4) Другие (40, 50) Optimacros (Оптимакрос) (1, 10) Форсайт (2, 8) Manzana Group (М Софт) (2, 5) Analytic Workspace (ОСТ) (2, 5) PIX Robotics (Пикс Роботикс) (1, 5) Другие (38, 58) Simetra (ранее А+С Транспроект) (1, 13) Форсайт (2, 9) VMware (2, 9) Optimacros (Оптимакрос) (1, 9) Arenadata (Аренадата Софтвер) (2, 8) Другие (40, 69) SAP SE (1, 1) Visiology (Визиолоджи) (1, 1) Arenadata (Аренадата Софтвер) (1, 1) SAS Institute Inc (1, 1) Полимедиа (Polymedia) (1, 1) Другие (0, 0)Распределение систем по количеству проектов, не включая партнерские решения
QlikView - 370 Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 321 Deductor - 226 Visary BI Платформа бизнес-аналитики - 119 SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103 Другие 2024 Visary BI Платформа бизнес-аналитики - 12 Optimacros Платформа для оптимизационного и консолидационного планирования - 6 Microsoft Power BI - 5 Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 5 Qlik Sense - 4 Другие 51 Optimacros Платформа для оптимизационного и консолидационного планирования - 10 Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7 PIX BI - 5 Visary BI Платформа бизнес-аналитики - 5 Manzana Customer Data Platform (CDP) - 5 Другие 52 Подрядчики-лидеры по количеству проектов
БизнесАвтоматика НПЦ (120) Большая Тройка (46) Умная Логистика (14) Сбербанк (14) Доверенная среда (13) Другие (491) БизнесАвтоматика НПЦ (12) OneFactor (Уанфактор) ЕдиныйФактор (3) РИР (Росатом Инфраструктурные решения) (3) Мобильные ТелеСистемы (МТС) (2) Marketing Logic (Маркетинг Лоджик) (2) Другие (45) БизнесАвтоматика НПЦ (5) РИР (Росатом Инфраструктурные решения) (3) Сбер Бизнес Софт (2) Департамент информационных технологий Москвы (ДИТ) (2) Инфосистемы Джет (2) Другие (65)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
БизнесАвтоматика НПЦ (2, 119) Большая Тройка (2, 46) Умная Логистика (2, 14) Триафлай (1, 13) Сбербанк (10, 10) Другие (257, 141) БизнесАвтоматика НПЦ (1, 12) РИР (Росатом Инфраструктурные решения) (2, 3) Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2) МегаФон (2, 1) Мобильные ТелеСистемы (МТС) (1, 1) Другие (8, 8) БизнесАвтоматика НПЦ (1, 5) РИР (Росатом Инфраструктурные решения) (3, 4) Сбербанк (2, 2) CM.Expert (АвтоЭксперт) (1, 2) Цифра (1, 2) Другие (17, 18) БизнесАвтоматика НПЦ (1, 7) Сбербанк (3, 3) Luxms (1, 3) DataCatalog (ДатаКаталог) (1, 3) Ростелеком (1, 2) Другие (18, 21)Данные не найдены
Распределение систем по количеству проектов, не включая партнерские решения
Visary BI Платформа бизнес-аналитики - 119 Большая Тройка: АИС Редактор территориальных схем - 39 Триафлай BI-платформа - 13 ZIIoT Платформа для работы с промышленными данными - 10 Luxms BI - 9 Другие 137 Visary BI Платформа бизнес-аналитики - 12 PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2 Росатом Цифровое теплоснабжение - 2 МегаФон: Аналитика городской среды - 1 N3.Аналитика - 1 Другие 7 Visary BI Платформа бизнес-аналитики - 5 Arenadata Catalog - 2 Росатом Цифровое теплоснабжение - 2 CM.Expert Data Mining платформа - 2 ZIIoT Платформа для работы с промышленными данными - 2 Другие 17 Visary BI Платформа бизнес-аналитики - 7 Arenadata Catalog - 3 Luxms BI - 3 RT.Datalake Решение для хранения и обработки данных любых объемов - 2 Retail Rocket: Smart Placement Ads - 2 Другие 15 
