Platforma и HFLabs: Технология безопасного метчинга данных

Продукт
Разработчики: Платформа больших данных (Platforma), HFLabs (ХФ Лабс), ранее HumanFactorLabs
Дата последнего релиза: 2022/07/19
Технологии: Data Mining,  MDM - Master Data Management - Управление основными мастер-данными

Основные статьи:

2022: Тестирование технологии безопасного метчинга

Разработчик решений для бизнеса на основе больших данных Platforma и ИТ-компания HFLabs протестировали технологию безопасного метчинга данных двух разных игроков. Об этом 19 июля 2022 сообщила компания Platforma. Стороны разработали алгоритм преобразования и совмещения баз данных, который учитывает существующие требования законодательства и позволяет находить пересечения без использования персональных данных. Такая технология помогает компаниям выявлять общих клиентов и предлагать им совместные программы лояльности, новые продукты и сервисы, а также улучшать коммуникацию с пользователями, увеличивать конверсию и т.д.

Первыми участниками пилота стали ВТБ и Ростелеком. С помощью алгоритма были объединены клиентские базы, содержащие суммарно около 250 млн записей. Решение Platforma и HFLabs позволило найти группы клиентов, которые пользуются услугами обоих участников пилота, без использования и передачи их персональных данных. Этого удалось достичь за счет работы с синтетическими идентификаторами — UUID, которые не являются персональными данными и состоят из случайного набора букв и цифр фиксированной длины, а также благодаря двухэтапной схеме распределённого преобразования данных с использованием защищённого ключа-«секрета».TAdviser Security 100: Крупнейшие ИБ-компании в России 58.6 т

При подготовке к работе данные хэшируются в два этапа с применением сессионного секрета, доступного только владельцам данных, а затем передаются в федеративный хаб – сердце ИТ-архитектуры. Он сравнивает хеши и находит пересечения в клиентских базах. Модель обмена поддерживает несколько способов хеширования данных, в том числе предусмотренные ГОСТом методы.

Одна из ключевых сложностей проекта – разный формат клиентских данных. Даже внутри одного бизнеса нередко существуют различные ИТ-системы (CRM, биллинговые, кредитные портфели и т.д.), где информация хранится в разном формате с разным набором полей, характеристик. Например, в одной системе имя записано как «Наталья», а в другой – «Наталия». Совместное решение HFLabs и Platforma учитывает эту особенность, поэтому сначала происходит поиск схожих данных с помощью механизмов дедупликации и алгоритмов, учитывающих синонимы, опечатки, взаимозаменяемые слова, устаревшие наименования населенных пунктов.

Второй важный критерий при метчинге клиентов — это скорость. Первый этап хеширования может занимать около двух дней. Затем метчинг баз двух компаний, включая второй этап хеширования, может потребовать несколько часов.

«
Специализированное решение, доработанное партнером под нашу задачу, доказало свою работоспособность и эффективность. Оно применимо как для работы с базами физических лиц, так и юридических. Мы намерены масштабировать это решение и оформить в полноценный продукт для бизнеса. Выявление общих клиентов позволит различным компаниям разрабатывать новые совместные программы лояльности или специальные предложения для пользователей, углубить свое знание и понимание клиентов. Вместе с этим потребители быстрее получат доступ к новым услугам: например, банк охотнее выдаст кредит, зная, что клиент исправно оплачивает сотовую связь у провайдера, — рассказал генеральный директор Platforma Алексей Каштанов.
»

«
Наше решение обеспечивает безопасную, быструю и точную идентификацию клиентов в базах разных организаций. Это важный шаг к созданию федеративных экосистем, объединяющих разные компании с равными правами. Бизнес сможет не только найти общих клиентов, но и понять, какие товары и услуги они покупают, – объяснил Константин Степанов, исполнительный директор IT-компании HFLabs.
»

В перспективе на базе разработанной технологии Platforma сможет выступать своего рода дата-банком, где партнеры хранят свои данные в собственных ячейках без доступа к ним со стороны других участников. Вместе с этим пользователи такого сервиса смогут безопасно объединять, метчить свои базы, проводить анализ и строить математические модели на объединенных данных, создавать сервисы и бизнес-продукты, участвовать в монетизации.





Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125)
  БизнесАвтоматика НПЦ (120)
  Инфосистемы Джет (13)
  Сбербанк (10)
  Полиматика (Polymatica) (9)
  Другие (639)

  Ростелеком (3)
  БизнесАвтоматика НПЦ (3)
  NLogic (2)
  Сапиенс солюшнс (Sapiens solutions) (2)
  Сбербанк (2)
  Другие (48)

  БизнесАвтоматика НПЦ (12)
  OneFactor (Уанфактор) ЕдиныйФактор (3)
  Мегапьютер Интелидженс (Megaputer Intelligence) (2)
  Яндекс (Yandex) (2)
  Московский центр инновационных технологий в здравоохранении (2)
  Другие (57)

  БизнесАвтоматика НПЦ (5)
  Полиматика (Polymatica) (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Сбер Бизнес Софт (2)
  Группа компаний ЦРТ (Центр речевых технологий) (2)
  Другие (63)

  БизнесАвтоматика НПЦ (8)
  SL Soft (СЛ Софт) (3)
  Сбер Бизнес Софт (3)
  Университет Иннополис (2)
  Мобильные ТелеСистемы (МТС) (2)
  Другие (69)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (2, 236)
  БизнесАвтоматика НПЦ (2, 119)
  Полиматика (Polymatica) (4, 15)
  SL Soft (СЛ Софт) (3, 15)
  Oracle (12, 14)
  Другие (314, 181)

  БизнесАвтоматика НПЦ (1, 3)
  SL Soft (СЛ Софт) (1, 2)
  Dell EMC (1, 2)
  Полиматика (Polymatica) (1, 2)
  IBM (1, 1)
  Другие (6, 6)

  БизнесАвтоматика НПЦ (1, 12)
  Сбербанк (2, 2)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (1, 2)
  Платформа больших данных (Platforma) (1, 2)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (1, 2)
  Другие (14, 16)

  БизнесАвтоматика НПЦ (1, 5)
  Сбербанк (3, 3)
  Ситроникс КТ (ранее Кронштадт Технологии) (2, 2)
  CM.Expert (АвтоЭксперт) (1, 2)
  PIX Robotics (Пикс Роботикс) (1, 2)
  Другие (16, 19)

  БизнесАвтоматика НПЦ (1, 7)
  SL Soft (СЛ Софт) (3, 4)
  Полиматика (Polymatica) (3, 4)
  Retail Rocket (Ритейл Рокет) (1, 2)
  Rubbles (Раблз) (1, 2)
  Другие (15, 15)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Deductor - 226
  Visary BI Платформа бизнес-аналитики - 119
  Polymatica Analytics Аналитическая платформа - 13
  IBM SPSS Decision Management - 10
  Loginom Аналитическая платформа - 10
  Другие 166

  Visary BI Платформа бизнес-аналитики - 3
  EMC Greenplum Data Computing Appliance - 2
  Polymatica Analytics Аналитическая платформа - 2
  Napoleon IT PowerPrice - 1
  Loginom Аналитическая платформа - 1
  Другие 5

  Visary BI Платформа бизнес-аналитики - 12
  Loginom Аналитическая платформа - 2
  Platforma и HFLabs: Технология безопасного метчинга данных - 2
  Webiomed - Платформа предиктивной аналитики и управления рисками в здравоохранении на основе машинного обучения - 2
  PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2
  Другие 11

  Visary BI Платформа бизнес-аналитики - 5
  Polymatica Analytics Аналитическая платформа - 2
  CM.Expert Data Mining платформа - 2
  ЦРТ: Speech Analytics Lab - 2
  PIX Process Management (PIX Процессы) - 2
  Другие 15

  Visary BI Платформа бизнес-аналитики - 7
  Retail Rocket: Smart Placement Ads - 2
  Rubbles Customer Insight - 2
  Polymatica Analytics Аналитическая платформа - 2
  Сфера. Интеллектуальный анализ процессов - 1
  Другие 9

Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon (Датареон) (272)
  Axelot (Акселот) (156)
  Цифра (31)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (25)
  АйТи Про (IT Pro) (21)
  Другие (287)

  Datareon (Датареон) (37)
  Axelot (Акселот) (25)
  Commvault (5)
  АйТи Про (IT Pro) (4)
  AnalyticsHub (АналитиксХаб) (2)
  Другие (35)

  Datareon (Датареон) (41)
  Axelot (Акселот) (32)
  Цифра (7)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (5)
  Софрос (Sofros) (4)
  Другие (22)

  Datareon (Датареон) (32)
  Axelot (Акселот) (19)
  Софрос (Sofros) (9)
  Naumen (Наумен консалтинг) (3)
  TData (ТДата) (3)
  Другие (32)

  Datareon (Датареон) (19)
  Axelot (Акселот) (8)
  Первый Бит (3)
  Софрос (Sofros) (3)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (3)
  Другие (20)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon (Датареон) (2, 419)
  Цифра (2, 36)
  Axelot (Акселот) (1, 30)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (5, 26)
  Informatica (14, 21)
  Другие (307, 229)

  Datareon (Датареон) (1, 60)
  Commvault (2, 5)
  АйТи Про (IT Pro) (1, 4)
  ЮниДата (UniData) (1, 3)
  SAP SE (1, 2)
  Другие (25, 25)

  Datareon (Датареон) (1, 71)
  Цифра (1, 7)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (3, 5)
  Axelot (Акселот) (1, 5)
  АСКОН (1, 2)
  Другие (15, 16)

  Datareon (Датареон) (1, 57)
  Axelot (Акселот) (1, 6)
  Цифра (1, 4)
  Naumen (Наумен консалтинг) (1, 3)
  Тандер Сеть магазинов Магнит (2, 2)
  Другие (15, 17)

  Datareon (Датареон) (1, 31)
  Data Sapience (Дата Сапиенс) (2, 3)
  Axelot (Акселот) (1, 2)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (1, 2)
  Crosstech Solutions Group (Кросстех Солюшнс Групп) (1, 1)
  Другие (15, 15)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon Platform - 419
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 36
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 30
  HFLabs Единый клиент - 23
  АйТи Про: BI.Qube - 18
  Другие 219

  Datareon Platform - 60
  АйТи Про: BI.Qube - 4
  Commvault Complete Data Protection - 4
  ЮниДата Платформа управления данными - 3
  Alation Data Catalog - 2
  Другие 27

  Datareon Platform - 71
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 7
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 5
  Platforma и HFLabs: Технология безопасного метчинга данных - 2
  HFLabs Единый клиент - 2
  Другие 17

  Datareon Platform - 57
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 6
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 4
  Naumen Enterprise Search - 3
  Юниверс MDM - 2
  Другие 16

  Datareon Platform - 31
  Data Sapience: Data Ocean Платформа управления данными - 2
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 2
  HFLabs Единый клиент - 2
  Dynamika Единый профиль клиента - 1
  Другие 15