Название базовой системы (платформы): | Apache Kafka |
Разработчики: | Arenadata (Аренадата Софтвер) |
Дата последнего релиза: | 2023/11/01 |
Содержание |
Потоковая передача и обработка данных в реальном времени на базе Apache Kafka и NiFi
- Корпоративная шина обмена данными для всех приложений
- Разграничение прав доступа к потокам данных
2024
Доступность в облаке MWS
МТС, цифровая экосистема, 26 июля 2024 года сообщила о заключении стратегического партнерства между MTS Web Services (MWS), входит в группу МТС, и Arenadata. В рамках договора MWS запустил пять сервисов на программных продуктах от Arenadata, в том числе и Arenadata Streaming (ADS). Подробнее здесь.
Доступность из облака «Крок»
Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Streaming (ADS). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.
2023
Поддержка «Ред ОС»
Arenadata 1 ноября 2023 года выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку российской операционной системы РЕД ОС.
Таким образом был расширен перечень поддерживаемых ADS операционных систем, который теперь включает:
- РЕД ОС 7.3;
- CentOS 7.6.1810;
- RHEL 7.6;
- AltLinux 8.4 SP;
- Astra Linux 1.7 «Орёл» SE c Axiom JDK.
Другим важным изменением Arenadata Streaming для пользователей стала реализация шифрования параметров конфигурации NiFi, призванная повысить защищённость кластера.Бизнес переходит на российское ПО, но отнюдь не массово
Помимо этого, обновленная версия ADS включила обновление NiFi до версии 1.20, благодаря чему добавились дополнительные процессоры и был устранён ряд проблем, связанных с информационной безопасностью.
![]() | Для клиентов Arenadata важна возможность влиять на карту развития наших продуктов, и данный релиз Arenadata Streaming это подтверждает. Так, в ответ на пожелание одного из наших заказчиков, в NiFi был добавлен дополнительный провайдер потоков GitFlow Provider, — прокомментировал Александр Ермаков, технический директор Arenadata. | ![]() |
Доступность в облаке Cloud.ru
Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.
Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB - Arenadata DB, ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.
Поддержка Astra Linux Special Edition «Орел»
Arenadata выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку операционной системы Astra Linux Special Edition (релиз «Орел»). Функционал уже доступен пользователям. Об этом компания Arenadata сообщила 10 августа 2023 года.
Совместимость с российской операционной системой Astra Linux означает, что продукт подходит для большого спектра корпоративных ИТ-инфраструктур, включая нуждающихся в повышенном уровне защищённости.
![]() | Для клиентов Arenadata важен высокий уровень информационной безопасности. И данный релиз Arenadata Streaming, получивший поддержку Astra Linux, позволит им использовать сертифицированную операционную систему. Для этого мы провели большую работу в части изменения механизмов конфигурации системы управления сервисами и компонентами под операционную систему, — прокомментировал обновление функционала ADS Александр Ермаков, технический директор Arenadata. | ![]() |
Данный релиз Arenadata Streaming включил и другие изменения. Был переработан функционал управления пользователями в интерфейсе универсального оркестратора гибридного ландшафта Arenadata Cluster Manager (ADCM) и индивидуальные настройки сервисов для одного или группы хостов. А также исправлен ряд известных проблем.
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Open source технологий Apache Kafka и Apache Nifi. Продукт включает систему мониторинга и управления, поддержку расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- строить потоковые конвейеры данных в реальном времени, которые надёжно передают данные между системами или приложениями;
- разрабатывать потоковые приложения в реальном времени, преобразующие или реагирующие на потоки данных;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Помимо этого, продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
Доступность в beeline cloud
Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.
Совместимость с платформой Rubbles MLOps Suite
ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.
Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata Streaming. Подробнее здесь.
Выпуск инструмента для мониторинга и управления коннекторами Apache Kafka в составе Arenadata Streaming
Российский разработчик платформы сбора, хранения и обработки данных — компания Arenadata сообщила 11 января 2023 года о выпуске на рынок инструмента для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). Он получил название Arenadata Streaming Command Center (ADSCC). ADSCC поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.
Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования данного инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.
![]() | Выпуская Command Center, компания даёт возможность заказчику быстро настроить Disaster Recovery Kafka кластера и подключить внешние коннекторы (например, Debezium для настройки CDC). При этом закладываем основу для разработки функционала под запросы заказчика с поддержкой вендора, а также включения в продукт ADS других версий Kafka с поддержкой KRaft, пояснил директор департамента управления продуктами Arenadata Александр Большаков.
| ![]() |
Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.
Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность:
- добавлять Kafka-коннекторы и управлять ими;
- отслеживать состояние кластеров Kafka Connect;
- работать с несколькими кластерами одновременно;
- гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
- работать с пользовательскими коннекторами.
Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.
В ближайших планах развития Arenadata Streaming Command Center реализация следующего функционала:
- добавление LDAP/LDAPS-аутентификации;
- мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками;
- переназначение partitions на другие ноды;
- добавление дашбордов и графиков;
- выбор leader replica.
2022: Kerberos-авторизация для предотвращения несанкционированного доступа
24 февраля 2022 года компания Arenadata сообщила, что предоставила пользователям трёх своих продуктов - Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) - возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory. Подробнее здесь.
Заказчик | Интегратор | Год | Проект |
---|---|---|---|
- Норильский никель, ГМК (Норникель) | Arenadata (Аренадата Софтвер) | 2024.07 | ![]() |
- Северсталь | Северсталь-Инфоком | 2024.06 | ![]() |
- Зарубежнефть | Форсайт | 2022.10 | ![]() |
- Северсталь | Северсталь-Инфоком, Arenadata (Аренадата Софтвер) | --- | ![]() |