2021/08/26 14:53:32

DataOps
data operations
конвейер данных

.

Понятие DataOps и основные элементы этой концепции

Введение в понятие DataOps для TAdviser подготовила Светлана Вронская, автор телеграм-канала Analytics Now.

DataOps — это эквивалент DevOps для данных. И также, как целью DevOps является организация непрерывного процесса разработки и запуска программного обеспечения, цель DataOps - в организации непрерывного и беспрепятственного доступа к данным и извлечения из них полезной информации.

Можно сказать, что DataOps – это концепция, набор практик непрерывной интеграции данных между процессами, командами и системами.

Инфраструктура DataOps состоит из пяти основных элементов:

  • Технологии (прежде всего для работы с данными и источники данных);
  • Адаптивная архитектура, которая обеспечивает непрерывное совершенствование технологий, услуг и процессов;
  • Обогащение данных для их точного анализа;
  • Методология DataOps для построения и развертывания аналитики и конвейеров данных;
  • Культура и люди.

Наверно, последняя часть самая сложная, так как, чтобы DataOps заработала, надо создать культуру сотрудничества между командами, ответственными за эксплуатацию ИТ-инфраструктуры, облака, архитектуру и структуру данных, а также потребителями данных, например аналитиками, специалистами по обработке и бизнес-пользователями.TAdviser Security 100: Крупнейшие ИБ-компании в России 59.8 т

Сам процесс работы DataOps состоит из 5 шагов. До того, как к ним приступить, надо выполнить одно условие – собрать требования пользователей, определить цели проекта, кейсы использования данных и показатели эффективности. Собственно, как в любом проекте. Первый шаг – сбор данных. Далее – структурирование данных, затем – анализ и обогащение данных. Четвертый шаг – внедрение моделей данных в приложения с помощью многократно используемых шаблонов. И последний шаг – автоматизация контроля качества.

Читайте также

Data Fabric (ткань данных)