Понятие DataOps и основные элементы этой концепции
Введение в понятие DataOps для TAdviser подготовила Светлана Вронская, автор телеграм-канала Analytics Now.
DataOps — это эквивалент DevOps для данных. И также, как целью DevOps является организация непрерывного процесса разработки и запуска программного обеспечения, цель DataOps - в организации непрерывного и беспрепятственного доступа к данным и извлечения из них полезной информации.
Можно сказать, что DataOps – это концепция, набор практик непрерывной интеграции данных между процессами, командами и системами.
Инфраструктура DataOps состоит из пяти основных элементов:
- Технологии (прежде всего для работы с данными и источники данных);
- Адаптивная архитектура, которая обеспечивает непрерывное совершенствование технологий, услуг и процессов;
- Обогащение данных для их точного анализа;
- Методология DataOps для построения и развертывания аналитики и конвейеров данных;
- Культура и люди.
Наверно, последняя часть самая сложная, так как, чтобы DataOps заработала, надо создать культуру сотрудничества между командами, ответственными за эксплуатацию ИТ-инфраструктуры, облака, архитектуру и структуру данных, а также потребителями данных, например аналитиками, специалистами по обработке и бизнес-пользователями.Обзор российского рынка банковской цифровизации: импортозамещение, искусственный интеллект и собственные экосистемы 
Сам процесс работы DataOps состоит из 5 шагов. До того, как к ним приступить, надо выполнить одно условие – собрать требования пользователей, определить цели проекта, кейсы использования данных и показатели эффективности. Собственно, как в любом проекте. Первый шаг – сбор данных. Далее – структурирование данных, затем – анализ и обогащение данных. Четвертый шаг – внедрение моделей данных в приложения с помощью многократно используемых шаблонов. И последний шаг – автоматизация контроля качества.
Читайте также
