29 ноября в рамках ежегодного саммита TAdviser SummIT 2022 прошла работа тематических сессий. Оказалось, что тема больших данных и BI волнует компании самых разных направлений. Представители финансового сектора, строительства, нефтедобывающей отрасли поделились друг с другом успешными кейсами и проблемами, которые неизбежно возникают в ходе проектов. Модератором секции выступила Наталья Лаврентьева, заместитель главного редактора портала TAdviser.

Проблемы машинного обучения

Спикеры от ГК InfoWatch часто рассказывают в своих выступлениях про технологии предотвращения утечек конфиденциальной информации из информационных систем. И это неудивительно, учитывая профиль занятий компании, однако Андрей Арефьев, директор по инновационным проектам, начиная доклад, заявил, что сегодня про DLP говорить не будет. Вместо этого он предложил рассмотреть тему применения ML в разрезе взаимодействия с информационной безопасностью.

Андрей Арефьев, директор по инновационным проектам ГК InfoWatch

При развитии DLP в InfoWatch прошли длинный путь: от работы с регулярными выражениями и семантического анализа в начале XXI века к предиктивной аналитике и кластеризации данных с автоматическим построением политик ИБ. Таким образом, в деле информационной безопасности начали фигурировать такие термины, как big data и BI.

В результате всей этой эпопеи мы сами столкнулись с трудностями, которые преследуют бизнес при работе с большими данными и машинным обучением. В самом начале неочевидным фактом для нас стало событие, когда дата-сайентист говорит, что решил проблему и показывает — все работает, а проблема-то не решена! Построенная ML-модель не означает, что теперь все в порядке. Эксперимент, проведённый сегодня, часто уже невозможно воспроизвести завтра. Найденное решение проблемы будет так же работать через полгода? Не факт! Старая модель уже не работает, а для новой данных пока нет, подождём полгода… Это какая-то бесконечная рекурсия! Посмотрев на эти проблемы, мы пошли на рынок, чтобы понять, как люди с этим работают, что делают с данными, какие есть подходы. В результате провели качественное исследование, чтобы понять, какими тенденциями «обрастает» отрасль BigData и как к происходящему относится ИБ.

Одна из задач ИБ, по мнению докладчика, заключается в том, чтобы обеспечить непрерывность бизнеса.

Почему нас интересует отношение ИБ к Big Data? Мы традиционно много работаем с первым, а проблемы, с которыми сталкивается бизнес, когда речь заходит о BigData, это один из фокусов ИБ: как обеспечить непрерывность работы и сохранить при этом данные, — говорит он.

Результаты исследования показали: все зрелые участники-респонденты понимают важность непрерывности функционирования ML Pipеline и контроля актуальности ML модели. Они решают вопросы с масштабируемостью и защищённостью инфраструктуры. С точки зрения обучения и выполнения ML-моделей, хранения и доступа к данным, используемым для обучения ML-моделей. Участники разошлись в оценках рисков, связанных с утечками данных промышленных предприятий. Было два полярных мнения: данные никому не нужны без контекста или утечки данных могут быть крайне чувствительны, вплоть до уголовного преступления. Многие респонденты считают, что обезличивание данных позволит минимизировать риски утечек данных, но обращают внимание на то, что есть риск восстановления данных.

Для создания решения, слабо зависимого от конкретных дата-сайентистов, нужны специальные продукты. Один из них — DSML Platform, который мог бы стать инструментом для поддержки методологии, для версионирования моделей, данных и воспроизводимости экспериментов, для разграничения доступа к данным и моделям, для доступа к вычислительным ресурсам.

Мы думаем о том, чтобы вывести подобный продукт на рынок, — прокомментировал Андрей Арефьев. — Он будет интересен крупным компаниям, в то время как среднему бизнесу понадобится, скорее, облачный сервис.

Своим опытом работы с искусственным интеллектом и машинным обучением поделился Роман Щекин, начальник управления разработки информационных систем, «Национальный расчетный депозитарий» (НРД). По его мнению, этот опыт будет полезен тем компаниям, что хотят заниматься этой темой, но их ресурсы, выделенные на Data science, ограничены, а команды и подразделения в этой сфере пока только в планах или уже есть, но работают недостаточно эффективно.

Роман Щекин, начальник управления разработки информационных систем, НРД

Первая сложность, с которой сталкиваются организации, желающие создать ML-подразделения, встают перед сложным выбором: набрать команду под процесс или наоборот? И у того, и у другого подхода есть существенные недостатки. В первом случае непонятно, как правильно выбрать задачу без экспертизы. Во втором случае будут большие издержки на погружение команды в тему, а так же риск найма неподходящих специалистов.

Мы решили эту проблему так — вырастили внутреннего эксперта, вокруг которого можно наращивать команду, — разъясняет докладчик.

Мода влияет на всех нас в разных сферах жизни. Технологии тут не стоят особняком. Машинное обучения постоянно хвалят в статьях, и этот новостной фон создает давление на лица, принимающие решения. Может сложиться ложное впечатление, что сам факт применения ML дает сплошные преимущества. Чтобы избежать погони за хайпом, стоит понять, что доля «ML ради ML» в каждой задаче будет присутствовать, но нужно научиться оперировать субъективной оценкой этой доли.

Роман Щекин перечислил и другие сложности. Его общие рекомендации таковы: стремиться решать проблемы, а не создавать технические решения; уделять больше внимания данным и дизайну системы, нежели моделям; ставить четкие цели и фиксировать целевые метрики. Нет смысла бояться запускать продукт или услугу без ML, но если вы начинаете работать с машинным обучением, то план действий таков:

• Понять проблему и данные, построить визуализации.
• Создать baseline-решение на эвристиках, зафиксировать метрики.
• Настроить пайплайны данных и реализовать обвязку.
• Оценить пользу решения и необходимость дальнейшего улучшения метрик.
• Затем переходить к моделям по принципу «от простого к сложному».

Хорошие и плохие данные

Вдвоём доклад о подходах к работе с аналитикой больших данных сделали Дмитрий Шведов, заместитель руководителя департамента цифровизации, ОХК «Уралхим» и Владимир Вавра, руководитель отдела инфраструктуры данных, департамент цифровизации, ОХК «Уралхим». В 2020 году на предприятии решили, что пора стать компанией, которая управляется с помощью данных. Это решение легло в стратегию развития корпоративных данных внутри холдинга.

Чтобы использовать данные, понадобилось не только построить соответствующую платформу, но и запустить центр компетенций, центры технологической экспертизы, маркета данных. Развивать такие направления, как качество данных и прогнозные модели. Но и это еще не все.

Бизнес должен не бояться использовать искусственный интеллект самостоятельно. Для этого мы запустили «Школу аналитиков данных», которая стала неким продолжением в работе продуктовых команд, — рассказывает Дмитрий Шведов.

Дмитрий Шведов, заместитель руководителя департамента цифровизации, ОХК «Уралхим»

Заявки на обучение подало более тысячи сотрудников. Первые выпускники уже создали 32 собственных проекта для бизнеса. Self-сервисы для работы с данными при создании и подготовке аналитических дашбордов помогли обеспечить значительную экономию.

Примеры задач в группах, которые рассматриваются в «Школе аналитиков данных»:

• Анализ данных по договорам в бюджете Capex.
• Автоматизированная рассылка уведомлений на email по графику бизнес-плана.
• Расчет нормативного срока поставки, контроль фактической и плановых поставок.
• Контроль АТЗ.
• Автоматическое создание форм справок.

Для того, чтобы сотрудники сами могли удовлетворять свои собственные бизнес-потребности, не привлекая к этому ИТ-отделы, нужно создать мощную ИТ-инфраструктуру, которая будет поддерживать пользователя на каждом этапе.

Если сервисы самообслуживания правильно настроены, то получается, что сам пользователь работает с верхним уровнем, с внешним интерфейсом, который защищен от несанкционированного доступа. Данные проверены на качество, ведется логирование, чтобы журналировать все действия. Это происходит автоматически. Мы также используем CI/CD, и не только для программирования и цифровых моделей, но и для работы с данными. Единый подход позволяет использовать единый же пайплайн для обычной и облачной инфраструктуры. Особенности этого подхода позволяют нам масштабировать нашу инфраструктуру под различные потребности и условия. Дополнительные мощности подключаются так, что для пользователей это совершенно незаметно, — описывает Владимир Вавра.

Владимир Вавра, руководитель отдела инфраструктуры данных, департамент цифровизации, ОХК «Уралхим»

Для быстрой реакции на происходящие изменения банку требуется единое информационное пространство. На компании финансового сектора обстоятельства давят со всех сторон: с одной стороны, есть санкции, с другой — конкуренты создают свои экосистемы, с третьей стороны надо постоянно развивать свой ИТ-ландшафт и ничего не упустить. Сергей Иванов, CDO, «Абсолют Банк» рассказал, как с этим давлением справляются внутри его компании.

Сергей Иванов, CDO, «Абсолют Банк»

Мы подумали, что нам необходимо некое информационное пространство для изменений, чтобы соединять то, что было, с новыми тенденциями. Или, знаете, бывает так, что сегодня я разговариваю с Семеном из ИТ-отдела, а они там люди тонкой душевной организации. Мы с ним назначаем встречу на завтра, а завтра он уже в Казахстане и хочет работать удаленно. А для нас это что значит? Новые риски. На самом деле, у вас в компании есть 20-30% латентных айтишников, которые «спрятаны» в бизнес-подразделениях. Дай им инструменты, и они смогут делать дашборды и даже заниматься ML. Поэтому мы решили объединить ряд инструментов в единое пространство для таких пользователей.

В общем пространстве оказались Yandex DataLens, хранилище, DDS (Data Vault), библиотека моделей ИИ, ML-платформа, Wiki, Task-tracker. Таким образом, данные, аналитика, знания объединились в единый ландшафт. Появились гражданские аналитики, которые сохраняют там проделанную работу, и сосед может воспользоваться сделанными наработками.

Тем самым сохраняется хорошая динамика, не тратите время на то, чтобы передавать информацию друг другу, а главное — происходит автоматизация, и руководство принимает свои решения, основываясь на данных, — резюмирует Сергей Иванов.

Представитель нефтегазовой отрасли — Владимир Турчанинов, заместитель генерального директора по системной интеграции, СНГС — начал с того, что поблагодарил TAdviser за то, что компании самых разных профилей могут встретиться и обменяться своим ИТ-опытом и накопленными знаниями.

От других отраслей нас отличает такой момент, — объясняет докладчик. — В нефтегазовой промышленности очень длительный цикл месторождения, а значит и данные, которые собираются на каждом из этапов: поиска, разведки, разработки, добычи и транспортировки продукта — могут быть востребованы на следующих этапах. Поэтому иногда бывает очень важно оглянуться, сделать шаг назад и посмотреть, что же там происходило. Объемы данных на каждом этапе достаточно большие.

Владимир Турчанинов, заместитель генерального директора по системной интеграции, СНГС

В сутки с одной скважины поступает около 1 гигабайта данных — с 50 источников информации, по 300 параметрам в секунду. На куст приходится больше 50 скважин. На одном месторождении одновременно работают 5-10 кустовых площадок. Общий фонд в России насчитывает 178 712 скважин и 3000 месторождений. В общем, эти цифры дают наглядное представление о том, сколько данных нужно обрабатывать.

Общие для всех проблемы появляются и у нас, — отмечает Владимир Турчанинов. — Они связаны с управлением данными. Данные часто находятся в проприетарных форматах и привязаны к разным приложениям. Контекст возникновения данных нет, семантика неизвестна, метаинформация отсутствует.

Трудностей много: данные низкого качества, подготовка их стоит дорого, что внутри них — непонятно, методы обработки применять сложно, онтологий нет.

При правильно управлении данными эти проблемы можно решить — если и не целиком, то значительно. Докладчик рассказал, что для этой цели была разработана платформа «Унофактор». При загрузке данных она использует лучшие практики как озер данных, так и хранилищ данных. При получении данных работают концепции доменов и витрин данных. В результате использования этого продукта для нефтегазовой отрасли достигаются следующие положительные моменты:

• Оптимизация работы и сокращение затрат за счёт предиктивного обслуживания оборудования.
• Сокращение CAPEX и OPEX при строительстве и ремонтных работах на нефтегазовых месторождениях.
• Выявление СНПВ при строительстве и сокращение продолжительности строительства скважин.
• Импортозамещение и повышение уровня санкционной резистентности, независимости компаний.
• Гармонизация технологического стека и использование апробированных мировых практик в основе методологий.
• Сокращение аварий, браков, осложнений, отказов узлов, объектов критической инфраструктуры.
• Реализация автономных технологических активов, «цифровых двойников». Роботизация, Индустрия 4.0.
• Экспорт технологий и реализуемых отраслевых ИТ-решений в страны «третьего мира».

Из Excel в BI

Могут ли большие данные быть нескучными? Этим вопросом задался Николай Кустов, руководитель управления ИТ, ГКУ ЦОДД. Как сделать сложную аналитику простой, доступной каждому и при этом красивой?

Я хотел бы рассказать вам о дата-продукте «Аналитика движения Москвы», — начал докладчик. — Создавая этот продукт, мы придерживались трех целей. Он должен быть полезен руководству и СМИ, а также нам хотелось иметь инструмент, который можно показывать на выставках и презентациях, чтобы был понятен наш уровень цифровизации и автоматизации.

Николай Кустов, руководитель управления ИТ, ГКУ ЦОДД

Для руководства в продукте внедрено отображение состояния всех видов городской мобильности в режиме реального времени по основным метрикам, с визуализацией на карте города. СМИ получает наглядный инструмент для обзора ситуации в городе в простом виде. Ну а на презентациях зрители увидят, как работает городской транспорт.

Создать «Аналитику движения Москвы» было непросто хотя бы потому, что в требованиях значились простота и наглядность, а делать из сложного простое всегда считалось задачей не из легких. Кроме того, вызовы заключались и в том, что генерация данных была высока, нужно было настроить интеграцию с большим числом источников информации, добиться единства цифр и метрик, а также не забыть про отслеживание работоспособности клиентских установок.

Теперь продукт успешно работает, и Николай Кустов, «вместо тысячи слов просто продемонстрировал видео, чтобы мы все оказались в ситуации выставки и презентации, и увидели то, что должны видеть зрители, о которых докладчик говорил в самом начале: анимированные дашборды, которые рассказывают истории.

Сергей Рубцов, руководитель отдела инноваций и научно-технического развития, «Мосинжпроект», назвал Big Data и BI эффективными инструментами для управления физическими объемами и и ресурсами на крупных объектах строительства. «Мосинжпроект» уже более 60 лет на рынке и занимался такими значимыми проектами, как реконструкция БСА «Лужники», организацией парка «Зарядье» в центре Москвы, штаб-квартирой государственной корпорации «Роскосмос», а также сумел за 37 дней построить инфекционный госпиталь на 900 пациентов. С 2011 года эта компания — генеральный проектировщик и генеральный подрядчик строительства метро Москвы. Докладчик подчеркнул, что даже в эпидемию они смогли сохранить темпы своей работы.

Сергей Рубцов, руководитель отдела инноваций и научно-технического развития, «Мосинжпроект»

Физический объем — это материал или оборудование, к которому привязаны стоимость и нормативное время людского ресурса на выбор, закупку и СМР, — дал определение Сергей Рубцов, а затем показал тепловую карту, на которое обозначался бенчмарк текущих и целевых инструментов управления физобъемами в строительных организаций. — Если посмотреть на 2017-2021 годы, то видно, что все сидели в Excel — не только в нашей компании, но и в целом по России. Я просто много где работал и это наблюдал. Сейчас же мы пришли к тому, чтобы персонал формировал отчеты на каждом этапе жизненного цикла объекта и делал выгрузку в систему BI. В планах на следующую пару лет заниматься Big Data, а в 2024-2026 — внедрять BIM 4D и BIM 5D».

Копаем вглубь

Цифровая платформа МСП — это государственная платформа поддержки предпринимателей. Она создана совместно с Минэкономразвития России. Разработчик — компания Notamedia. Решение совместно представили Сергей Ковтун, генеральный директор digital-интегратора Notamedia и Кирилл Коломийцев, заместитель генерального директора, корпорация МСП.

Федеральная платформа объединяет в единую экосистему с универсальным доступом и персональным подбором услуг такие области, как:

• государственные и бизнес-сервисы;
• федеральные и региональные меры поддержки;
• доступ к информации;
• b2b-взаимодействие;
• аналитику бизнеса;
• программы обучения.

Анализ состояния делового климата и выработка мер поддержки бизнеса — одни из важнейших государственных приоритетов. Массивы данных на федеральном уровне огромны, имеют много уровней глубины, сосредоточены в различных источниках и ведомствах. Единого открытого инструмента их мониторинга и анализа не существовало.

Мы создавали платформу, чтобы агрегировать те большие данные, что есть у государства, и сделать их более доступными и более понятными — в первую очередь, для малого бизнеса, — прокомментировал Кирилл Коломийцев.

Кирилл Коломийцев, заместитель генерального директора, МСП

«Статистика бизнеса в России» — один из ключевых сервисов Цифровой платформы МСП. Это первый сервис, комплексно и наглядно отражающий состояние малого и среднего бизнеса на основе данных из официальных источников, именно поэтому он является очень востребованным.

Для предпринимателей тут отслеживаются ключевые финансовые показатели как в регионе присутствия, так и в рыночном сегменте, помогая в принятии решений о потенциальном расширении бизнеса и его географии. Для госорганов отслеживается динамика ключевых показателей МСП как на федеральном уровне в целом, так и в разрезе отдельных округов, регионов и отраслей. Тем самым происходит поддержка оперативного принятия решений о необходимых мерах поддержки и реагирования в отраслевом разрезе.

Основные вызовы при разработке были таковы. Нужно было агрегировать, стандартизировать и анализировать большие объемы межведомственных данных. Сделать результаты наглядными, интуитивно понятными и визуально привлекательными, а также Упростить работу с сервисом для самых разных категорий пользователей.

Мы хотели, чтобы наши данные были «красивыми», а аналитика была бы понятной и госорганам, и аналитику, и среднестатистическому владельцу булочной в провинции, — комментирует Сергей Ковтун.

Платформа разрабатывается с 2021 года и запущена в открытое бета-тестирование в начале этого года. Ожидается, что к 2025 году количество пользователей составит 500 тыс., а количество полученных услуг будет около 600 тыс. ежегодно.

Сергей Ковтун, генеральный директор, Notamedia

Новые требования к большим данным озвучил в своем докладе Алексей Тюренков, руководитель управления больших данных, «Технониколь».

С какими проблемами сталкивается бизнес при работе с данными? Данные размазаны по системам, неконсистенты, несинхронизованы. Существует проблема грязных данных, с которой сталкивается любой аналитик. С ней сложно справиться. Если добавить сюда хранилищные технологии, то все несколько упорядочивается. Мы начинаем с создания системы управления метаданными, где в едином реестре собираются метаданные информационных систем предприятия (не только Хранилища Данных). Затем мы решаем проблему консолидации ключевых справочников компании, проводим интеграцию Хранилища данных с системами класса MDM/НСИ, и только потом приступаем к интеграции Хранилища данных с источниками факторных данных

Алексей Тюренков, руководитель управления больших данных

Enterprise Data Warehouse служит единой технологической платформой для доступа к данным. Это центр интеграции и обеспечения данными, источник данных для основных потребителей (цифровые сервисы, аналитики BI, аудиторы, инженеры данных, специалисты по анализу данных, корпоративной отчетности и машинному обучению). Системы бизнес-аналитики BI/OLAP и корпоративной отчетности получают данные из хранилища. Аналитики BI забирают данные из хранилища по подписке (Push) или генерируют отчеты и дашборды из хранилища (Pull). Системы Data Science и Data Mining получают данные из хранилища. Аналитики, исследователи данных и дата инженеры проверяют гипотезы, делают прогнозы, проводят расследования, создают отчеты и модели машинного обучения на основе этих данных.

Благодаря данному продукту можно добиться снижения как трудозатрат бизнес-аналитиков на подготовку данных для управленческой отчетности и аналитики, так и уменьшения рисков и издержек, обусловленных низким качеством данных. Платформу для интерактивной аналитики и виртуализации данных CedrusData представил собравшимся Владимир Озеров, генеральный директор, Querify Labs. Это вычислительная платформа, которая позволяет компаниям быстро и гибко анализировать все свои данные через единую точку доступа. Она оптимизирована под работу с облачными инфраструктурами и озерами данных, проста в развертывании и эксплуатации. Решение основано на популярном open source проекте Trino. Разработкой CedrusData занимается инженеры компании Querify Labs, которые ранее работали над проектами Apache Ignite, ClickHouse и Yandex Database.

Владимир Озеров, генеральный директор, Querify Labs

Важность аналитики для бизнеса невозможно переоценить, — уверен Владимир Озеров, — и у каждого направления деятельности существуют свои аналитические сценарии.

Типичные задачи аналитики, которые решает CedrusData, таковы: противодействие мошенничеству, формирование рекомендаций по продуктам, прогнозирование лояльности клиентов и предотвращение их оттока — это для банков. Для ритейла решаются сходные задачи — рекомендацию даются на основе истории покупок. Анализ поведения пользователя на сайте помогает увеличить количество завершенных заказов. Добавлены также функции формирования ассортимента и оптимизации товарных остатков. Организациям из промышленного сектора платформа помогает оптимизировать логистику транспортных средств и прогнозировать техническое состояние оборудования.

Планы по «захвату» Африки

Юрий Ефаров, исполнительный директор, Easy Report, который часто презентует на конференциях свое решение для отчетности через мессенджер, на этот раз решил пойти дальше и поделился сразу несколькими интересными кейсами по использованию BI в полях.

Юрий Ефаров, исполнительный директор, Easy Report

Сотрудники первого клиента работают в полях в прямом смысле этого слова. Easy Report понадобился международному испано-африканскому агрохолдингу MyAgro.

Их даже хвалил Билл Гейтс за то, что они смогли повысить уровень жизни трудящихся в Африке. MyAgro — своеобразный маркетплейс для местных фермеров, который помогает реализовывать зерно, а заодно повышает уровень их компетенций в аграрном хозяйстве. Наши основные пользователи — это координаторы, которые находятся в деревнях и нуждаются в том, чтобы видеть данные по своему региону. При этом люди, которые пользуются нашим сервисом, не очень ИТ-грамотные. Например, у некоторых даже нет электронной почты. Тем не менее, он и пишут запросы на аналитику в мессенджере (через WhatsApp, на французском языке) и получают ответы.

Сейчас внедрение произошло только в Сенегале, но в планах на следующий год — охватить всю Центральную Африку.

Следующий клиент тоже работает в полях, но уже в переносном смысле.

Индийская страховая компания нуждается в том, чтобы передавать данные своим «полевым» агентам, — поясняет докладчик. — Те общаются с клиентами, и наш сервис идеально подошел, как подойдет и другим, кому не нужна какая-то красивая сложная аналитика, а нужно просто получить ответ на свой вопрос.

Благодаря Easy Report, здесь удалось добиться сокращения стоимости аналитических платформ в 20 раз. Отвечая на вопрос из зала, Юрий Ефаров подчеркнул, что дешевизна и скорость изменений — вот причина, почему заказчики переходили с традиционных BI-решений на Easy Report.

Демократизировать сложную аналитику с помощью low-code платформы предлагает Дмитрий Гольцов, заместитель генерального директора, Megaputer. Когда мы говорим о Business intelligence, в голову первым делом приходят дашборды — это то, с чем работают бизнес-пользователи и лица, принимающие решения. Но область BI связана не только с этим, уверен докладчик:

Есть еще множество процедур, которые стоят рядом или предшествуют визуальной аналитике. Это и аудит качества данных, и очистка, нормализация, обработка естественного языка, машинное обучение. Операции выполняют дорогостоящие профессионалы.

Дмитрий Гольцов, заместитель генерального директора, Megaputer

Анализ данных включает множество прочих процедур. До недавнего времени такие процедуры осуществлялись исключительно путем написания сложного программного кода высококвалифицированными, дорогостоящими специалистами. Взаимодействие между бизнес-пользователями и программистами в процессе реализации аналитического проекта носили длительный, многоитерационный и затратный характер. Чтобы этого избежать, Дмитрий Гольцов предлагает продукт под названием PolyAnalyst:

Идея PolyAnalyst состоит в том, чтобы демократизировать эту работу с данными. Если бизнес-пользователь делает все сам, может осуществлять аналитику без программирования, то это экономит деньги и время ИТ-специалистов, которым лучше заниматься другими вещами.

PolyAnalyst предоставляет бизнеc-пользователям, не обладающим навыками программирования, простые инструменты для проведения сложного и глубокого анализа. Владелец данных, обладающий полными знаниями об обрабатываемом датасете, самостоятельно проводит весь процесс анализа, без привлечения дорогостоящих специалистов, подготовки ТЗ на их работу, без объяснения нюансов о структуре или формате данных. Не нужны ни тщательная валидация результатов работы подрядчиков, ни повторение предыдущих процедур при неудовлетворительном результате. Работа проходит с минимальными временными затратами и без возникновения ошибок, вызванных неправильным пониманием задачи специалистами со стороны.

Предельно прагматическую тему предложил рассмотреть Дмитрий Крючков, архитектор решений, Sapiens solutions. Как максимально безболезненно смигрировать с SAP BW/SAP HANA в Arenadata? Проблемы подобной миграции таковы. Нужно обеспечить возможность загрузки данных в гетерогенном ландшафте, при этом осваивая новые технологии в кратчайшие сроки. Кроме того, хочется все же переиспользовать уже существующую отчетность и точки интеграции.

Дмитрий Крючков, архитектор решений, Sapiens solutions

Есть два подхода к миграции. Можно переехать полностью, когда весь ИТ-ландшафт заменяется: и платформы данных, и SAP BI.

Это трудозатратно и возникает немало рисков. Ответом может стать гибридная архитектура, когда мы используем два решения, последовательно переводя нужный функционал с SAP на Arenadata. Важный момент: сначала мы выносим те ETL-процессы, которые требуют наибольшего количества памяти. Основная проблема, с которой сталкиваются сейчас клиенты — не хватает оперативной памяти для ETL-процессов и запросов, — объясняет Дмитрий Крючков.

При этом BI и интеграции продолжат работу без реконфигурации. Освобождение пространства SAP HANA повлечет за собой ускорение работы и снижение рисков, а компетенции будут плавно расти в соответствии с объемом миграции.

Завершая свое выступление, Дмитрий Крючков предложил услуги Sapiens solutions не только в плане миграции, но и если есть необходимость более детально изучить процесс:

Мы также проводим вебинары, где подробнее рассказываем про этот подход.

У «Сбера» есть два решения по Process Mining. О них пришел рассказать Андрей Бугаенко, исполнительный директор по исследованию данных, «Сбербанк».

В этом году мы вышли на открытый рынок с платформой Sber Process Mining. Это инструмент с мощным BI-движком для бизнес-аналитиков, — сообщил он детали по первому решению.

Платформа нужна для того, чтобы поставить анализ процессов на поток.

Андрей Бугаенко, исполнительный директор по исследованию данных, «Сбербанк»

Второе решение предназначено для дата сайентистов и требует знания и навыков программирования на языке Python — это Python-библиотека SberPM. Библиотека поможет, когда нужно создать MVP нестандартных решений и провести эксперименты DS.

Python-библиотека существует в двух модификациях. Любой желающий может скачать себе модификацию с базовым функционалом и проводить на ней исследования, связанные с Process Mining, — предложил спикер.

Весь функционал, который есть в библиотеке и в платформе, можно разделить на пять групп:

1. Поиск кейсов неэффективности.
2. Анализ текстов (NLP).
3. Построение Dream Process.
4. Цифровой хронометраж.
5. Предиктивная аналитика и прогнозирование.

В перерыве и по завершении конференции участники общались в неформальной обстановке, а также имели возможность ознакомиться с решениями и услугами ИТ-поставщиков на стендах, развернутых в холле мероприятия.