Oracle Warehouse Builder

Продукт Оracle Warehouse Builder (OWB) входит в семейство продуктов Oracle Developer Suite и представляет собой интегрированную CASE-среду, предназначенную для разработки и развертывания хранилищ и витрин данных. Средствами этого продукта можно проектировать, создавать и администрировать хранилища и витрины данных, разрабатывать и генерировать процедуры извлечения, преобразования и загрузки данных из различных источников, управлять метаданными. Стандарты Common Warehouse Model, лежащие в основе репозитория Oracle Warehouse Builder, обеспечивают его интеграцию с различными аналитическими инструментальными средствами как Oracle, так и других фирм.

Источники и целевые системы

OWB предлагает простые механизмы для работы с источниками и целевымим системами. Диалоговые визарды позволяют просто и удобно проходить необходимые этапы шаг за шагом. В качестве источников могут выступать:

• РСУБД Oracle;
• Плоские файлы;
• ERP-система SAP R/3;
• DB2, Informix, MS SQL, Sybase (доступ через Oracle Transparent Server);
• ODBC-источники;
• Мэйнфреймы (доступ через EDA SQL).

Встроенные в OWB механизмы позволяют автоматически определять изменения в источниках данных и отображать их в своем репозитории метаданных.

OWB является продуктом глубоко интегрированным в платформу СУБД Oracle. Исходя из этого, основной целевой системой является СУБД Oracle. Поддерживаемые целевые системы:

• СУБД Oracle;
• Плоские файлы.

Проектирование ETL-процессов

После того, как метаданные источников и разрабатываемых систем описаны, пользователь может приступить к созданию процессов по переносу данных в целевую систему. Такие процессы ETL в терминалогии OWB называются процессами преобразования (mappings). OWB предоставляет различные графические средства проектирования процедур преобразования.

Эти средства поддерживают преобразования множества источников во множество целей, что позволяет пользователю выполнять преобразования данных последовательно по цепочке, используя комплексные преобразования PL/SQL. Для достижения гибкости в манипуляциях с данными, пользователь может определять и встраивать свои логические выражения используя встроенные визуальные средства проектирования логических выражений. Для того, чтобы повторно использовать разработанные ранее процедуры обработки данных, OWB позволяет организовывать пользовательские библиотеки преобразований. Процедуры и функции пользовательских библиотек можно в дальнейшем в любой момент включать в процедуры преобразований или исполнять до и после них.Российский рынок облачных ИБ-сервисов только формируется 2.6 т

В качестве компонент, составляющих преобразования, можно использовать и общие операторы объединения, фильтрации, агрегирования и сортировки данных. Позднее все эти операторы автоматически преобразуются в генерируемый код PL/SQL. Также присутствуют такие специфичные для ETL операторы как «поиск по ключу» (key lookup), операции над множествами (union (all), minus, intersect) и разворота таблиц (pivot and un-pivot). В случае, если пользователь выбирает плоский текстовый файл в качестве источника данных, OWB автоматически создает управляющий файл для загрузки через SQL*Loader. Проектирование потоков процессов

OWB предоставляет механизм организации объединения разработанных процессов преобразований в обобщенные потоки процессов. Такие потоки процессов могут управлять последовательностью исполнения процессов, передавать параметры между процессами, синхронизировать исполнение, исполнять процессы в зависимости от результата предыдущей операции, осуществлять ветвление потока по признаку, соединение нескольких потоков в один и пр. Пользователь может разрабатывать полностью готовые механизмы загрузки, включая извещения сообщением на экран или по электронной почте, проверку наличия файла в источнике по протоколу FTP и т.д.

Управление исходным кодом

После того как проектирование хранилища и процедур загрузки завершено, автоматически сгенерированный код может быть размещен в целевой системе. Этот код может быть следующих типов: SQL DDL для создания хранилища данных; PL/SQL для процессов ETL из реляционных источников; Управляющие файлы SQL*Loader для источников плоских файлов; Процедуры ABAP для извелчения данных из источников SAP R/3; Для определения потоков управления процессами код на языке XML.

Управление оптимизацией исходного кода

Для управления оптимизацией при генерации исходного кода могут быть использованы следующие возможности:

• Выбор типа загрузки – построчно или набором строк;
• Поточное исполнение кода PL/SQL;
• Манипуляции с констрейнтами;
• Быстрая загрузка из удаленных таблиц использую встроенные представления;
• Загрузка изменений по партициям;
• Внешние таблицы;
• Табличные функции;
• Вставка одновременно в несколько таблиц;
• Использование оператора merge.

Управление развертыванием целевой схемы

Для управления таким разнообразием операций с исходным годом в составе OWB присутствует встроенная утилита Deployment Manager.

Deployment Manager предоставляет унифицированный интерфейс для создания и управления объектами и процедурами разработанного хранилища. С помощью Deployment Manager можно создавать, обновлять, удалять объекты из целевой схемы хранилища одинаково вне зависимости от конкретного кода. Также Deployment Manager позволяет запускать на выполнение процедуры преобразований, как по отдельности, так и в составе потоков процессов.