RT.DataLoader
Решение для выгрузки больших объёмов данных

Основная статья: Управление данными (Data management)

RT.DataLoader – импортонезависимое легко тиражируемое решение для выгрузки больших объёмов данных из систем источников в хранилище данных. Продукт даёт возможность подключать новые источники данных, добавлять новые таблицы, корректировать атрибутивный состав подключенных таблиц через визуальный интерфейс, что минимизирует привлечения ETL-разработчиков к процессу.

2022: Функции, возможности и особенности

Ключевые функции и возможности RT.DataLoader по состоянию на июль 2022г.:

• 1. Полная или частичная выгрузка из таблиц источников.
• 2. Доставка данных в файловую систему Hadoop Distributed File System (HDFS).
• 3. Поддержка полной и инкрементальной выгрузки данных из источников (таблиц, представлений, sql-запросов)в файлы на локальном сервере хранения данных.
• 4. Оркестратор для управления потоками выгрузки на базе Apache Airflow. Запуск процесса выгрузки по расписанию или по условию наступления события. Расписание можно настроить для конкретной таблицы или группы таблиц источника.
• 5. Архивирование выгруженных данных.
• 6. Подсчет контрольных сумм (обеспечение контроля качества данных).
• 7. Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.
• 8. Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД

Особенности:

• 1. Импортонезависимый продукт, зарегистрированный в реестре отечественного ПО
• 2. Визуальный интерфейс для настройки, управления и мониторинга процессов загрузки
• 3. Простота тиражирования решения: подключения новых источников

Область применения

Продукт может использовать для построения ETL-процессов в хранилищах данных с ежедневной частотой обновления данных. Решение особенно эффективно для ХД с большим количеством источников данных.