Заказчики: Газпром нефть Санкт-Петербург; Нефтяная промышленность Подрядчики: Arenadata (Аренадата Софтвер) Продукт: ADH - Arenadata HadoopНа базе: Apache Hadoop Дата проекта: 2019/01 — 2019/12
|
2019: Внедрение Arenadata Hadoop
Дирекция региональных продаж ПАО «Газпром нефть» в сотрудничестве с Arenadata реализовала проект по созданию современного «озера данных», важнейшей компоненты корпоративной платформы управления данными.
Дирекция региональных продаж ПАО «Газпром нефть» в конце 2017 года инициировала проект «Умное озеро данных» по внедрению комплексной платформы обработки и хранения данных с интегрированными компонентами Data Governance. Одной из предпосылок проекта выступила потребность в надёжном хранилище «сырых» и первично интегрированных данных. Вся поступающая из внутренних и внешних источников информация содержалась на слоях данных централизованной аналитической инфраструктуры в закрытом формате, что препятствовало эффективной работе с ней: например, передавать данные вовне можно было лишь в виде файловых пакетов или специально разработанных витрин. Другой предпосылкой создания «умного озера данных» стало значительное количество запускаемых на волне цифровизации инициатив и проектов, связанных с обработкой неструктурированных данных и больших массивов данных.
После апробации различных решений для первичной интеграции и хранения сырых данных (data lake), выбор пал на Arenadata Hadoop — отечественный дистрибутив.
В 2019 году Дирекция региональных продаж ПАО «Газпром нефть» интегрировала озеро данных на платформе Arenadata Hadoop в состав комплексной платформы управления данными.
Первые задачи «умного озера данных» включили в себя обработку транзакций сети АЗС «Газпром нефть», расчёт сегментов для клиентской аналитики, анализ обратной связи от клиентов.
Кроме этого, в платформу были интегрированы данные значительного числа внешних источников, в частности, Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнёров и сведения о конкурентах, данные мобильных приложений.Группа компаний «ВДГБ»: 28 лет успеха на рынке 1С
«Умное озеро данных» развёрнуто в Центре обработки данных «Газпром нефти» в Санкт-Петербурге. Его пользователями являются аналитики подразделений Дирекции региональных продаж и дочерних обществ. Кроме этого, созданное решение является поставщиком данных для различных систем в контуре компании и в целевом виде — для внешних партнёров.
Особенностью проекта стали уникальные для Big Data ландшафта решения в области безопасности. На уровне всех компонент, ландшафтов и ролевой модели были обеспечены требования к защите информации по стандартам группы «Газпром», решение успешно сертифицировано для работы с коммерческой тайной и персональными данными.
В частности, были созданы отдельные группы доступа, например, для разработчиков, аналитиков, администраторов. Между их правами и полномочиями зафиксирована тонкая грань, а ролевые модели построены так, чтобы пользователи видели лишь требуемые данные. Также интеграция между компонентами решения и смежными системами выполнена с соблюдением корпоративной политики информационной безопасности.