Название базовой системы (платформы): | Apache Hadoop |
Разработчики: | Arenadata (Аренадата Софтвер) |
Дата последнего релиза: | 2024/08/28 |
Технологии: | СУБД |
Основная статья: Система управления базами данных (СУБД)
Arenadata Hadoop (ADH) — это полноценный дистрибутив распределенной платформы хранения на базе Apache Hadoop, адаптированный для корпоративного использования.
- Поисковые и контекстные механизмы поиска высоконагруженных веб-сайтов и интернет-магазинов
- Хранение, сортировка и обработка огромных объемов неструктурированных данных
2024
*Поддержка Hadoop User Experience и ACID-транзакций
Arenadata 28 августа 2024 года представила очередную версию Arenadata Hadoop (ADH) — корпоративного дистрибутива для хранения, обработки и анализа неструктурированных и слабоструктурированных данных. Релиз расширяет возможности управления данными благодаря поддержке ACID-транзакций и веб-интерфейсу HUE для удобного взаимодействия аналитиков с базами и хранилищами данных.
Обновленная версия продукта включает в поставку Apache Iceberg — библиотеку поддержки высокопроизводительного открытого табличного формата данных для управления информацией на уровне файловой системы. Apache Iceberg позволяет работать со структурированной информацией в озере данных, используя SQL-запросы, и легко интегрируется в существующую инфраструктуру благодаря совместимости с большинством технологий хранения данных (от HDFS до S3) и популярными вычислительными инструментами, такими как Spark, Impala, Hive и др.Андрей Шарак, LANSOFT: Мы предлагаем не отдельные продукты в рамках бренда, а карты решений для конкретной отрасли
Iceberg решает проблемы традиционных форматов таблиц и обеспечивает новые возможности, включая согласованную параллельную запись данных в разделяемые файлы в кластере, ретроспективные запросы к ранним версиям данных и откат изменений, изменение схемы хранения данных, секционирование данных и др. Использование Iceberg-таблиц позволяет существенно повысить скорость выполнения запросов за счёт инкрементальной обработки данных, быстрого сканирования и фильтрации неактуальных данных.
В представленной версии Arenadata Hadoop реализована поддержка HUE (Hadoop User Experience) — веб-интерфейса экосистемы Hadoop, предназначенного для анализа данных. Он способен подключаться к СУБД, вычислительному инструменту или хранилищу данных через нативные коннекторы и упрощает работу с источниками данных. HUE востребован широким кругом пользователей: от бизнес-аналитиков, дата-инженеров и дата-сайентистов до администраторов баз данных и SQL-разработчиков. В составе Arenadata Hadoop HUE содержит преднастроенные интерпретаторы SQL для Impala, Hive, Kyuubi и Spark SQL, а также мониторинг задач YARN и Impala и возможность просмотра файловой системы HDFS.
![]() | «На данный момент поддержка Iceberg доступна в сервисах Spark, Impala и ограниченно в Hive (только чтение). В следующем релизе мы расширим функциональность в Hive и добавим поддержку Iceberg-формата в Flink, что увеличит возможности потоковой обработки данных, — отметил Александр Анисимов, технический руководитель продукта Arenadata Hadoop. — В свою очередь, новый сервис HUE получит дополнительный функционал, связанный с безопасностью и отказоустойчивостью, также будет расширяться список преднастроенных интерпретаторов». | ![]() |
Релиз Arenadata Hadoop включил и другие изменения: обновлены версии сервисов Impala, Spark, Kyuubi и Zeppelin, добавлена LDAP-аутентификация для Impala и Kyuubi и плагин Kyuubi AuthZ в Spark3 для поддержки авторизации в Ranger, упрощено управление SSL-шифрованием для сервисов кластера. Обновлена и подсистема безопасности Arenadata Platform Security: в обновленной версии введена поддержка доменного контроллера Samba и режим высокой доступности для Ranger KMS.
Доступность в облаке MWS
МТС, цифровая экосистема, 26 июля 2024 года сообщила о заключении стратегического партнерства между MTS Web Services (MWS), входит в группу МТС, и Arenadata. В рамках договора MWS запустил пять сервисов на программных продуктах от Arenadata, в том числе и Arenadata Hadoop (ADH). Подробнее здесь.
Добавление сервиса Apache Kyuubi
Компания Arenadata включила в состав корпоративного дистрибутива Arenadata Hadoop (ADH) сервис Apache Kyuubi — распределённый многопользовательский SQL-шлюз для корпоративных хранилищ и озёр данных. Он расширяет возможности быстрой интерактивной аналитики в Arenadata Hadoop и обеспечивает простой и безопасный доступ к любому ресурсу кластера через единую точку входа. Об этом компания сообщила 25 июля 2024 года.
Kyuubi предоставляет унифицированный интерфейс для доступа к вычислительным движкам через единую систему аутентификации и авторизации. Благодаря сервису дата-сайентисты и аналитики получают возможность обрабатывать данные с помощью привычного движка, поддерживаемого продуктом. В свою очередь, администраторам баз данных предоставляется единый интерфейс для конфигурации, обеспечения безопасности и управления доступом к данным.
![]() | В контексте дистрибутива Arenadata Hadoop мы уже предоставили возможность работы Kyuubi со Spark SQL и Hive, в планах — расширить эту функциональность поддержкой Flink SQL. Кроме того, мы разработали и отдали в апстрим проекта возможность поддержки диалекта Impala для JDBC-движка, в нашем продукте она доступна, начиная с версии ADH 3.2.4.2, — сказал Александр Анисимов, технический руководитель продукта Arenadata Hadoop. | ![]() |
Данный сервис предоставляет SQL-интерфейс и поддержку JDBC/ODBC, что делает его удобным для пакетной обработки ETL/ELT, аналитики, ad-hoc-задач и интеграции с BI-системами. Kyuubi также предоставляет эффективное управление вычислительными ресурсами движка Spark SQL, давая возможность как объединять вычислительные ресурсы для группы пользователей в одной сессии, так и гарантировать изоляцию необходимых ресурсов для каждого пользователя или подключения.
Функции обеспечения безопасности и высокой доступности — фундаментальные требования для корпоративного использования. В рамках этой тенденции в Kyuubi внедрена поддержка LDAP-аутентификации для клиентов, а также добавлен плагин Kyuubi AuthZ для Spark 3, обеспечивающий управление доступом к данным, — функциональность доступна, начиная с версии ADH 3.2.4.3. В контексте улучшения высокой доступности команда Arenadata разработала и отдала в апстрим проекта возможность использовать PostgreSQL в качестве хранилища метаданных (metastore).
Помимо базового варианта использования, Kyuubi позволяет расширить возможности сервера и вычислительных движков. Для сервера доступно внедрение пользовательских функций в модули, отвечающие за аутентификацию, конфигурацию и др. Для вычислительных движков можно добавить новые возможности путём разработки собственных плагинов и применения сторонних. «Kyuubi отвечает требованиям наших заказчиков к проектам уровня enterprise. Сервис расширяет возможности Arenadata Hadoop в части интерактивного доступа, изоляции вычислительных ресурсов, поддержки нескольких рабочих нагрузок и безопасности данных», — отметила Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata.
Получение сертификата ФСТЭК на соответствие требованиям 4-го уровня доверия и технических условий
Arenadata Hadoop (ADH) — корпоративный дистрибутив на базе Apache Hadoop — получил сертификат соответствия ФСТЭК РФ №4821 от 13 июня 2024 года. Документ удостоверяет, что продукт сертифицирован по требованиям 4-го уровня доверия и технических условий.
4-й уровень доверия ФСТЭК является одним из самых высоких уровней доверия к средствам технической защиты конфиденциальной информации. Он подтверждает, что Arenadata Hadoop подходит для использования: · в значимых объектах критической информационной инфраструктуры 1-й категории; · государственных информационных системах 1-го класса защищённости; · автоматизированных системах управления производственными и технологическими процессами 1-го класса защищённости; · информационных системах персональных данных при необходимости обеспечения 1-го уровня защищённости персональных данных; · информационных системах общего пользования 2-го класса, обрабатывающих информацию ограниченного доступа, в том числе персональные данные, служебную, коммерческую и иные виды конфиденциальной информации.
![]() | Это важное событие и для нас, как для разработчика Arenadata Hadoop, и для наших клиентов и потенциальных заказчиков, специфика которых предписывает использовать программные продукты лишь со столь высоким уровнем защищённости, — отметил Александр Ермаков, технический директор Arenadata. | ![]() |
Сертификат ФСТЭК подтверждает, что Arenadata Hadoop является программным обеспечением со встроенными средствами защиты от несанкционированного доступа к информации, не содержащей сведений, составляющих государственную тайну, реализующим функции идентификации и аутентификации, управления доступом и регистрации событий безопасности. Дистрибутив соответствует требованиям по безопасности информации, установленным в документе «Требования по безопасности информации, устанавливающие уровни доверия к средствам технической защиты информации и средствам обеспечения безопасности информационных технологий».
На основе технических заключений Arenadata Hadoop внесён в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации от 13 июня 2024 года. Полученный сертификат ФСТЭК действителен до 13 июня 2029 года.
Совместимость Apache Impala с Arenadata Catalog
16 мая 2024 года компания Arenadata сообщила о том, что «ДатаКаталог» (входит в Группу Arenadata) протестировала коннектор, обеспечивающий совместимость продукта Arenadata Catalog (ADC) и сервиса Apache Impala, являющегося частью корпоративного дистрибутива Arenadata Hadoop (ADH). Подробнее здесь.
Добавление сервиса Smart Storage Manager
Компания Arenadata включила в состав корпоративного дистрибутива Arenadata Hadoop (ADH) сервис Smart Storage Manager (SSM) — инструмент для оптимизации хранения и управления данными. Сервис расширяет возможности распределённой файловой системы HDFS и позволяет выбрать наиболее эффективный способ работы с данными, снижая накладные расходы на их хранение и повышая производительность запросов. Об этом копания сообщила 2 апреля 2024 года.
В типичной инсталляции Hadoop 80% вычислительных нагрузок приходится на обработку 20% данных. Для оптимизации управления данными в зависимости от их востребованности Smart Storage Manager анализирует частоту обращений к файлам, а далее автоматически, на основе установленных администраторами правил, перемещает горячие данные в кеш, тёплые — на носители, оптимальные по производительности (SSD), холодные — в архив на носители, оптимизированные по объёму хранения (HDD). Это позволяет снизить стоимость хранения редко используемых данных, повысить производительность чтения горячих данных, а также оптимизировать использование оборудования.
Smart Storage Manager обеспечивает возможность настроить асинхронную репликацию данных между разными Hadoop-кластерами или между Hadoop-кластером и облачным хранилищем. Сервис отслеживает операции изменения данных, такие как создание, удаление, добавление и переименование, чтобы обеспечить синхронизацию в реальном времени и избежать вычислительных затрат MapReduce. Предусмотрена простая настройка и управление репликацией для реализации сценариев аварийного восстановления (DR).
![]() | Стандартный инструмент для репликации данных между разными Hadoop-кластерами — команда distcp (Distributed Copy) — подходит для пакетной репликации большого объёма данных и неприменима в ряде других сценариев. С появлением SSM мы расширили возможности Arenadata Hadoop новым функционалом Data Sync, позволяющим реализовать асинхронную репликацию с наименьшей задержкой и влиянием на кластер-источник, — отметил Александр Анисимов, технический руководитель продукта Arenadata Hadoop. | ![]() |
Политики и правила Smart Storage Manager позволяют гибко настраивать включение Erasure Coding — технологии отказоустойчивого распределения данных. Технология поддерживает сжатие данных в HDFS без ограничения доступа к ним для внешних приложений, что способствует экономии места в подсистеме хранения.
![]() | Ввиду роста объёмов неструктурированных данных и их неравноценности с точки зрения частоты запросов, нет смысла оптимизировать весь массив. SSM позволяет собирать и анализировать исторические показатели, на их основе выявлять и прогнозировать шаблоны доступа к данным, чтобы автоматически корректировать варианты хранения, оптимизируя расходы и повышая производительность, — отметила Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata. | ![]() |
Сервис также включает решение для оптимизации потребления памяти при работе с небольшими файлами — их можно сжать в один файл-контейнер, который хранится в HDFS и данные в нём доступны для приложений верхнего уровня. Это позволяет снизить накладные расходы и повысить производительность записи и чтения небольших файлов.
Для удобства администраторов кластеров Smart Storage Manager предоставляет веб-интерфейс, с помощью которого можно создавать правила, запускать действия, проверять статус их выполнения и следить за статистикой кластера.
Доступность из облака «Крок»
Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Hadoop (ADH)). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.
2023
Arenadata Hadoop 3.1.2.1.b1 с сервисом Apache Impala
Arenadata 25 октября 2023 года представила релиз Arenadata Hadoop (ADH) 3.1.2.1.b1, в который вошёл сервис Apache Impala — распределённая система исполнения SQL-запросов в экосистеме Hadoop. Сервис предназначен для интерактивной обработки данных на сверхбольших объёмах данных, он открывает доступ к новым сценариям использования, требующим высокой скорости исполнения запросов.
Можно выделить следующие преимущества нового функционала ADH для пользователей:
- Скорость обработки запросов в озере данных. Impala обеспечивает низкую задержку и высокий уровень параллелизма в экосистеме Hadoop. Это позволит эффективнее решать задачи self-service аналитики и ad-hoc запросов.
- Простота внедрения в текущую инфраструктуру. Заказчикам, у которых уже был установлен Hive, не придётся переносить данные и таблицы, так как Impala использует те же метаданные, форматы файлов и драйверы подключения.
- Масштабирование, независимое от основного кластера Hadoop. Arenadata Hadoop предоставляет возможность развёртывания Impala вне основного кластера. Это позволяет исключить конкуренцию за аппаратные ресурсы и отдельно масштабировать аналитическую нагрузку даже в существующих инсталляциях ADH.
- Оптимизация использования оборудования. Сервис поможет сократить стоимость обработки данных за счёт оптимального использования аппаратного обеспечения. Помимо этого, больше не требуется тратить ресурсы на адаптацию SQL-кода и дополнительное обучение аналитиков при миграции с Cloudera Data Platform.
- Оптимизация ландшафта заказчика. Отдельные сценарии ad-hoc и self-service аналитики, требующие массивно-параллельной обработки, теперь возможно реализовывать локально, не нагружая ими основное хранилище данных.
![]() | Включение еще одного сервиса в Arenadata Hadoop существенно повысило производительность продукта для ряда бизнес-сценариев. Он в значительной мере отвечает требованиям заказчиков в части скорости исполнения запросов, что позволяет внедрять новые сценарии использования. В грядущих релизах ADH мы планируем расширять функциональность данного сервиса: его безопасность, доступность и интеграцию с другими компонентами, например, такими, как Arenadata Platform Security (ADPS), — прокомментировал Александр Ермаков, технический директор Arenadata. | ![]() |
Обновленный релиз Arenadata Hadoop включил и другие изменения: представлено автоматическое управление высокой доступностью сервисов Hadoop, добавлен ADB Spark Connector с поддержкой Spark3, улучшен функционал керберизации кластера, позволяющий производить более детальную настройку.
Доступность в облаке Cloud.ru
Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.
Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB - Arenadata DB, ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.
Доступность в beeline cloud
Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.
Совместимость с платформой Rubbles MLOps Suite
ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.
Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata Hadoop. Подробнее здесь.
Arenadata Hadoop 2.1.7_b1 с компонентами Hbase, Flink и Zookeeper
24 января 2023 года компания Arenadata сообщила о выпуске версии дистрибутива на базе Apache Hadoop, адаптированного для корпоративного использования, — Arenadata Hadoop (ADH) 2.1.7_b1. Релиз включил обновление версий компонент Hbase, Flink и Zookeeper. Также в него добавлен сервис Airflow2 и компонент Livy версии 0.7.1 c поддержкой работы со Spark версии 3.3.0 на Scala 2.13.
Arenadata Hadoop 2.1.7_b1 включил следующие улучшения и обновленный функционал:
- возможность установить версию сервиса Flink 1.15.1, а также «по кнопке» обновиться с предыдущей версии. Пользователи смогут воспользоваться функционалом данной версии и исправить проблемы предыдущей;
- возможность установить данную версию сервиса Hbase 2.0.4 и «по кнопке» обновиться с предыдущей версии, исправив проблемы старой версии;
- возможность установить данную версию сервиса Zookeeper 3.5.10, а также «по кнопке» обновиться с предыдущей версии. Данная версия позволит исправить проблемы предыдущей;
- возможность установить новый компонент сервиса Spark3 — Livy 0.7.1 c поддержкой Spark 3.3.0 на Scala 2.13 в качестве отдельного компонента параллельно Livy для Spark версии 2.3.2. В компонент добавлена возможность поддержки Spark 3.3.0 и Scala 2.13;
- обновленный сервис Airflow версии 2.3.3. Он устанавливается параллельно Airflow версии 1.10.11. Это даёт возможность перенести настройки и задания с предыдущей версии;
- поддержка кастомизации krb5.conf и ldap.conf через интерфейс Arenadata Cluster Manager (ADCM). Это даёт возможность пользователю самостоятельно средствами ADCM изменить содержимое конфигурационных файлов krb5.conf и ldap.conf. Этот функционал позволит настраивать более сложные и тонкие конфигурации керберизации и авторизации в зависимости от сложности инфраструктуры;
- добавлена возможность принудительно отключить политики доступа HDFS ACL, если включен плагин Ranger. Это позволит использовать единую «точку правды» для организации доступа пользователей.
![]() | Arenadata стремится предоставить заказчикам возможность получать последние версии компонентов Hadoop. Важно, чтобы у пользователей была возможность обновить их автоматически "по кнопке". Специалисты, работая над обновленными версиями Arenadata Hadoop, заботятся о том, чтобы продукт был безопасен, а его компоненты совместимы друг с другом и стабильно работали в рамках всей платформы, рассказал Александр Большаков, директор по продуктам Arenadata.
| ![]() |
2022
Тестирование на совместимость с серверами и дисковыми массивами Gagar>n
Производитель серверного оборудования GAGAR>N совместно с российским разработчиком платформы для работы с данными Arenadata и ИТ-компанией "Т1 Консалтинг" провели тестирование оборудования для работы с Big Data и подтвердили эффективность его использования для создания отечественных комплексов хранения и обработки больших данных. Об этом 26 июля 2022 года сообщили представители "Т1 Консалтинг".
В связи с возросшей потребностью заказчиков в построении ИТ-инфраструктуры на базе российских программно-аппаратных комплексов "T1 Консалтинг" выступил организатором разработки ПАК с использованием ПО Arenadata DB и Arenadata Hadoop на серверной платформе х86 и дисковых массивах GAGAR>N. Перед формированием готового предложения специалисты провели тестирование с целью проверки совместимости вычислительного оборудования с программными решениями. Подробнее здесь.
Kerberos-авторизация для предотвращения несанкционированного доступа
24 февраля 2022 года компания Arenadata сообщила, что предоставила пользователям трёх своих продуктов - Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) - возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory. Подробнее здесь.
2021
Доступность на платформе Mail.ru Cloud Solutions
Mail.ru Cloud Solutions 21 июля 2021 года сообщила о запуске Hadoop 3.0 как сервис на базе решения Arenadata. Подробнее здесь.
Arenadata Hadoop 2.1 с модулем Platform Security
18 января 2021 года компания Arenadata сообщила о завершении финального тестирования обновленного компонента для обеспечения централизованного управления политиками безопасности кластера — модуля Arenadata Platform Security.
По информации компании, сервис позволит бизнесу обеспечить комплексный подход к организации безопасности в следующих ключевых областях: безопасность периметра, аутентификация и авторизация пользователей, аудит действий пользователя, защита данных. Даст возможность создать единую систему обеспечения безопасности данных одновременно для нескольких инсталляций, кластеров и гетерогенных инфраструктур.
Первый релиз Platform Security (1.0.) поставляется как бесплатное дополнение к Enterprise-редакции последних версий дистрибутива Arenadata Hadoop 2.1 (на базе Hadoop 3.x). Начиная с текущего релиза все компоненты необходимые для организации и настройки безопасности будут поставляться в рамках отдельного модуля ADPS.
Arenadata Hadoop — дистрибутив на базе Apache Hadoop, адаптированный для корпоративного использования в рамках единой корпоративной платформы Arenadata EDP. Является дистрибутивом Hadoop с открытым кодом, начиная с ADH 2.1.2.3 доступен в Enterprise-редакции.
В корпоративную версию Arenadata Hadoop 2.1 включены все обновленные релизы компонентов Apache Ranger — компонента для мониторинга и управления комплексной безопасностью данных на платформе Arenadata Hadoop. Этот сервис отвечает за администрирование задач, связанных с безопасностью, мониторинг запросов доступа к системе и различные методы авторизации для всех компонентов и инструментов Hadoop.
В функционале Arenadata Hadoop 2.1 с модулем Platform Security появится ряд обновлений:
- Обновление Ranger для поддержки Apache Hadoop 3.1.
- Обновление Ranger для поддержки Hive 3.0.
- Обновление Ranger для поддержки Hbase 2.0.
- Поддержка Ranger для Apache Kafka 2.0.0.
- Поддержка плагина для включения, мониторинга и управления Elasticsearch.
- Зоны безопасности в Apache Ranger.
- Поддержка доверенного прокси.
- Обновление Ranger для поддержки Ozone.
- Интеграция KeySecure HSM.
- Поддержка пользовательских условий на уровне политики.
- Улучшения для поддержки ролей в политиках Ranger.
- Улучшения плагина Hive для поддержки команд SQL.
![]() | Первый релиз Arenadata Platform Security позволит нашим пользователям централизованно управлять безопасностью данных при работе с множеством сервисов и кластеров Arenadata Hadoop последних версий. Данное решение позволит снизить эксплуатационные издержки и будет особенно актуально в работе с большими массивами чувствительных данных, а именно в таких отраслях, как банки, финтех, телеком, медицина, страхование и ритейл. рассказал Александр Ермаков, технический директор Arenadata | ![]() |
Функциональными возможностями любого продукта на базе платформы Arenadata EDP являются нативная интеграция с другими решениями Arenadata и полностью автоматизированный процесс инсталляции других продуктов. В случае Platform Security у владельцев появится отдельный бандл, в поставку которого входят все решения для безопасности. С помощью стандартного визуального интерфейса в оркестраторе Arenadata Cluster Manager клиент разворачивает его в своей системе. Полностью автоматизированы любые процессы, связанные с инсталляцией, конфигурацией и другими действиями, необходимыми для интегрирования продуктов в корпоративную платформу.
В ближайших планах развития продукта — подключение других компонентов платформы Arenadata EDP, в частности, реализация поддержки Apache Ranger для кластеров Arenadata Streaming. В перспективе Arenadata Platform Security станет отдельной зонтичной надстройкой для управления безопасностью всех компонентов корпоративной платформы сбора и хранения данных Arenadata Enterprise Data Platform (EDP).
2020
Arenadata Hadoop 2.1.2.4
26 октября 2020 года компания Arenadata сообщила о том, что корпоративный дистрибутив Arenadata Hadoop (ADH) теперь доступен в разных версиях — бесплатной для свободного скачивания и корпоративной версии c функционалом высокой доступности ключевого компонента системы Namenode High Availability для повышения отказоустойчивости HDFS.
Arenadata Hadoop — это полноценный open-source дистрибутив на базе Apache Hadoop, адаптированный для корпоративного использования и предназначенный для хранения и обработки как структурированных, так и неструктурированных данных.
В октябре вышел релиз ADH 2.1.2.4:
- разделение версий — для свободного скачивания и платного продвинутого корпоративного варианта (с рядом собственных разработок и дополнительных преимуществ);
- добавлен функционал высокой доступности ключевого компонента системы Namenode High Availability. Это повысит отказоустойчивость ключевого компонента решения — HDFS. Доступно в версии релиза Enterprise.
Начиная с версии ADH 2.1.2.3 свежий дистрибутив Arenadata Hadoop доступен в 2 версиях — Community и Enterprise: Community — полностью функциональная версия, которую можно свободно использовать как для разработки и тестов, так и для промышленной эксплуатации. Community-версия Arenadata Hadoop открыта для свободного скачивания. Enterprise — содержит продвинутую функциональность высокой доступности и, в скором будущем, информационной безопасности.
Ранее в случае падения мастер-сервера с NameNode требовалось вручную восстановить файловую систему с SecondaryNamenode, чтобы вернуть доступ к кластеру и сервисам. Теперь все действия по фейловеру производятся автоматически, а обслуживание не прерывается. Во время, пока производятся эти действия, кластер и сервисы были недоступны.
![]() | HighAvaliability для HDFS Namenode — важное требование для многих наших заказчиков. Наличие высокой доступности ключевого компонента системы позволит им перейти на более современную версию Hadoop 3.x, которая снижает накладные расходы на хранилище на 50–200% и предоставляет хранение с использованием кодов избыточности для обеспечения отказоустойчивости. Именно на версии Hadoop 3.x — сконцентрировано внимание сообщества, и все большие разработки от глобальных IT-вендоров идут в этой версии экосистемы. При этом сам продукт Arenadata Hadoop стал удобнее в обслуживании — для восстановления работоспособности в случае сбоев срочное вмешательство администратора больше не требуется, — комментирует продакт менеджер Arenadata Hadoop Алексей Белозерский | ![]() |
До конца 2020 года планируется внедрение компонента Apache Ranger, который будет отвечать за импорт пользователей и групп из внешних источников и авторизацию во всех компонентах дистрибутива Hadoop. Это позволит создать единую точку авторизации пользователей, контролировать доступ к данным и проводить аудит доступа.
Где скачать
Arenadata Hadoop (ADH) — это полностью open-source дистрибутив Hadoop. Вы можете самостоятельно скачать Community-версию Arenadata Hadoop ADH 2.1.2.4, в том числе изучить исходные коды продукта.
Arenadata Hadoop 2.1.2
25 февраля 2020 года Arenadata представила минорную версию Arenadata Hadoop 2.1.2 (ADH 2.1.2), включающую два дополнительных сервиса Airflow и Solr, а также поддержку YARN on GPU с целью использования видеокарт для вычислений.
Благодаря этому пользователи Arenadata Hadoop получат возможность запускать задачи внутри Hadoop с использованием GPU-машин. Классический пример — это Spark. Внутри него можно писать код, который будет использовать CUDA ядра и быструю память GPU-машин.
![]() | Версия Arenadata Hadoop 2.1.2 позволит ускорить работу Spark с использованием аппаратного обеспечения видеокарт. При этом вся функциональность нашего продукта сохранится. Также мы внесли в обновленную версию несколько исправлений и изменений функционирования сервисов, добавили более глубокие чеки сервисов проверки работоспособности, их интеграционные проверки взаимодействия между собой, рассказал Александр Ермаков, технический директор Arenadata
| ![]() |
2019: Дистрибутив Arenadata Hadoop 2.1 на базе Hadoop 3
Компания Arenadata презентовала рынку в октябре 2019 года обновление дистрибутива распределённой платформы хранения Arenadata Hadoop (ADH) - Arenadata Hadoop 2.1, включающую такие компоненты, как Hadoop 3, Spark 2, Hive 3, YARN 3, HBase 2 и Phoenix 5.
Arenadata Hadoop 2.1 наполнена рядом новых функциональностей. Среди них:
- новая система управления, развёртывания и мониторинга Arenadata Cluster Manager, позволяющая устанавливать и управлять сервисами Hadoop как on-premise, так и в облаке;
- алгоритм восстановления данных Erasure Coding, способный до 40% снизить over-утилизацию дисковой системы в сравнении с классической репликацией HDFS;
- СУБД Hive 3, позволяющая создавать реляционные таблицы, записывать в них данные, использовать транзакции и материализации представлений;
- новая версия менеджера ресурсов YARN 3, позволяющая в данной версии контролировать распределение ресурсов нескольких кластеров между конкурирующими приложениями (YARN Federation);
- использование статичного диапазона портов для сервисов Hadoop;
- реляционная база данных Phoenix, позволяющая решить проблемы с потоковой загрузкой данных и их чтением.
2018
Доступность в Казахстане
14 ноября 2018 года компания Arenadata, российский разработчик многоцелевой платформы данных, сообщила о доступности на рынке Казахстана российского дистрибутива Arenadata Hadoop (ADH), а также аналитической массивно-параллельной СУБД Arenadata DB.
![]() | Техническую поддержку решений Arenadata будут обеспечивать специалисты DIS Group, — уточнил Канат Абиров, генеральный директор DIS Group KZ. — В России наши специалисты уже успели приобрести опыт работы с продуктами Arenadata. При этом мы работаем на рынке Казахстана в течение многих лет и хорошо знаем специфику региона. | ![]() |
Приобрести Arenadata Hadoop и Arenadata BD казахские компании смогут через офис DIS Group в Алматы — DIS Group KZ. Также стали доступны промышленные модули для расширения функционала платформы Arenadata в области интеграции данных, обеспечения их качества, каталогизации и самостоятельной работы бизнес-пользователе. Модули — на базе инструментов компании Informatica.
Дистрибутив Arenadata Hadoop 1.5.2
Во втором квартале 2018 года вышел релиз версии 1.5.2 Arenadata Hadoop.
Данная версия дистрибутив включает следующий состав компонентов:
В отличие от других корпоративных дистрибутивов, представленных на рынке, Arenadata Hadoop обладает рядом особенностей:
- вся поддержка и непосредственно экспертиза доступна в России и на русском языке;
- есть пакет утилит для полной оффлайн-установки (без доступа к сети интернет);
- вся сборка выполнена на базе открытых проектов Apache, нет проприетарных компонентов;
- российское программное обеспечение;
- поддержка доступна как удаленно, так и on-site;
- есть набор доступных типовых пакетных сервисов по планированию, установке и аудиту системы.
Arenadata Hadoop обеспечивает полный набор возможностей и инструментов для автоматического развертывания компонентов как на «голом железе», так и на виртуальных машинах (в облаке). Средства мониторинга и управления конфигурацией кластера позволяют оптимизировать производительность для всех компонентов системы. Apache Ambari обеспечивает интерфейсы для интеграции с существующими системами управления, например, Microsoft System Center и Teradata ViewPoint.
Оригинальная документация на русском языке позволяет облегчить процесс планирования и разворачивания кластера Hadoop.
В состав дистрибутива Arenadata Hadoop входят последние актуальные версии всех наиболее популярных инструментов, некоторые из которых были существенно доработаны, что гарантирует минимальное количество ошибок ПО, полный существующий функционал каждого инструмента и корректную интеграцию инструментов между собой. Кроме того, в состав Arenadata Hadoop включены инструменты для реализации корпоративных моделей безопасности (Apache Knox, Apache Ranger), управления данными и метаданными кластера (Apache Atlas), реализации ETL\ELT-потоков данных (Apache Flink, Apache NiFi).
Состав и версии компонентов ADH 1.5.2:
- Apache Ambari 2.6.1
- Apache HDFS 2.8.1
- Apache YARN 2.8.1
- Apache MapReduce 2.8.1
- Apache Zookeeper 3.4.10
- Apache Tez 0.9.0
- Apache Hive 2.3.0
- Apache HBase 1.3.1
- Apache Phoenix 4.11.0
- Apache Pig 0.17.0
- Apache Sqoop 1.4.6
- Apache Flume 1.8.0
- Apache Oozie 4.3.0
- Apache Atlas 0.8.1
- Apache NiFi 1.3.0
- Apache Apex 3.6.0
- Apache Flink 1.3.2
- Apache Kafka 1.0.0
- Apache Knox 0.12.0
- Apache Mahout 0.13.0
- Apache Ranger 0.7.1
- Apache Ranger KMS 0.7.1
- Apache Solr 6.6.0
- Apache Spark 2.2.0
- Apache Zeppelin 0.7.3
- Apache Giraph 1.1.0
- Apache Slider 0.92.0
Дополнительные компоненты, включенные в состав дистрибутива:
- Hue 3.11.0
- Bigtop-groovy 2.4.10
- Bigtop-jsvc 1.10.15
- Bigtop-tomcat 6.0.45
- Bigtop-utils 1.3.0
- extjs 2.2
- fping 3.10
- grafana 4.3.1
- libconfuse 2.7
- lzo 2.06
- lzo-devel 2.06
- lzo-minilzo 2.06
- mysql-connector-java 5.1.25
- net-tools 2.0
- numactl-libs 2.0.9
- pdsh 2.3.1
- perl-Crypt-DES 2.05
- perl-Net-SNMP 6.0.1
- rrdtool 1.4.8
- rrdtool-devel 1.4.8
- snappy 1.1.0
- snappy-devel 1.1.0
2016: Сертификация по стандартам Open Data Platform Initiative
В 2016 году дистрибутив Arenadata Hadoop 1.3.2 прошел сертификацию и получил подтверждение о полном соответствии стандартам Open Data Platform Initiative (ODPi). ODPi – мировое сообщество разработчиков проектов хранения больших данных с открытым кодом под эгидой Linux Foundation.
Заказчик | Интегратор | Год | Проект |
---|---|---|---|
- Норильский никель, ГМК (Норникель) | Arenadata (Аренадата Софтвер) | 2024.07 | ![]() |
- Банк Санкт-Петербург | Arenadata (Аренадата Софтвер) | 2024.05 | ![]() |
- Банк ВТБ | Arenadata (Аренадата Софтвер) | 2023.11 | ![]() |
- Форс Технологии | Arenadata (Аренадата Софтвер) | 2022.09 | ![]() |
- Счетная Палата РФ | Arenadata (Аренадата Софтвер) | 2020.03 | ![]() |
- Газпром нефть | Arenadata (Аренадата Софтвер) | 2019.12 | ![]() |
- Ростелеком | Arenadata (Аренадата Софтвер) | 2019.11 | ![]() |
- Новолипецкий металлургический комбинат, НЛМК | Инфосистемы Джет | 2019.08 | ![]() |
Подрядчики-лидеры по количеству проектов
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение систем по количеству проектов, не включая партнерские решения
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)