Информационные системы ФНС России: На пути к перестройке технологической архитектуры
Волна импортозамещения вот уже несколько лет охватывает все органы государственной власти, местного самоуправления и компании с государственным участием. Замена зарубежного программного обеспечения, серверного и иного технического оборудования является основой стабильного функционирования информационно-коммуникационных систем государственного уровня. Проектирование и дальнейшее развитие цифровой среды на отечественном ПО является залогом успешной реализации национального проекта «Цифровая экономика».
Для Федеральной налоговой службы России создание и развитие единой информационно-коммуникационной среды администрирования всегда было одной из приоритетных задач. А ввиду критичности инфраструктуры службы вопрос импортозамещения ПО стал ключевым. В данной статье мы рассмотрим важный шаг, сделанный на пути к перестройке технологической архитектуры информационных системы ФНС России.
Немного истории. Более 10 лет назад АО «ГНИВЦ» приступила к проектированию Аналитического сегмента данных ФНС России. На тот момент у службы не было платформы и инструментария для решения управленческих задач, соответствующих ее масштабу. Из имеющихся на тот момент решений на общемировом рынке наиболее оптимальным вариантом единого хранилища и системы управления данными являлась машина баз данных (МБД) производства Teradata Corporation. Со временем число задач, решаемых с использованием МБД, кратно возросло и на момент принятия решения об импортозамещении в ЦОД ФНС функционировало несколько МБД, обеспечивая работу пользователей на нескольких контурах АИС Налог-3.
Рассматривая причины миграции уже созданных и функционирующих для задач службы систем на МБД Терадата, необходимо выделить основные:
- Стремительно устаревающее оборудование;
- Кратный рост объема данных;
- Утилизация ресурсов близилась к пределу имеющихся возможностей;
- И, конечно, запрет регулятора на обновление МБД.
Таким образом, главной целью стал полный отказ от закупки, обновления и технического сопровождения импортного оборудования и программного обеспечения для аналитической деятельности ФНС России.
В рамках импортозамещения МБД Teradata предстояло решить следующие ключевые задачи:
- Создание единого управляемого хранилища;
- Повышение качества и обеспечение целостности и связанности данных;
- Снижение издержек на поддержку аналитических систем;
- Переориентация на внутренний рынок поставки технических средств и ПО;
- Повышение уровня безопасности при эксплуатации информационной системы ФНС России.
По результатам всестороннего анализа возможных альтернатив было принято решение переводить аналитические задачи на СУБД ArenadataDB. В рамках реализации миграции прикладных подсистем необходимо было реализовать следующие виды работ:
- Тестирование в близкой к промышленной среде на целевом «железе»;
- Перенос структур данных;
- Перенос самих данных;
- Перенос реализованных алгоритмов обработки;
- Настройка ETL-процессов;
- Настройка провайдеров доступа к данным со стороны прикладного ПО (ODBC, JDBC, DAL);
- Отладка всех процессов;
- Переключение в новую среду функционирования прикладных задач;
- Выявление и устранение возникающих проблем (работа над ошибками).
Осуществить одномоментный перевод всех задач в новую целевую архитектуру не представлялось возможным. Требовалось время на апробацию и проверку выбранных подходов к миграции. В связи с этим было принято решение о поэтапном переводе задач на ArenadataDB.
Вся предстоящая работы была поделена на три основных этапа.
На первом этапе нами была проведена предпроектная подготовка: полный анализ базы, типов и структуры таблиц и представлений, выявление не используемых и не подлежащих дальнейшей миграции задач, определение типов функционирующих приложений и проведение выборочной миграции приложений, имеющих разную функциональную и пользовательскую специфику.
Подводя итоги и оценивая результаты первого этапа, можно сказать, что нам удалось адаптировать процесс разработки и сопровождения под использование ArenadataDB (ресурсы, механизмы и процессы). Также мы пришли к пониманию невозможности мигрировать все приложения быстро и легко в виду необходимости доработок - от минимальных до кардинальных при реализации сложных вычислительных процессов, требующих учета особенностей новой используемой СУБД. Помимо этого, была подтверждена работоспособность выбранной СУБД и возможность ее использования в качестве альтернативы МБД Терадата для решения прикладных задач.
Второй этап ознаменовался самым большим и сложным достижением: переводом ресурсоемких аналитических задач. Необходимость миграции ресурсоемких задач на втором этапе был обусловлена критическим уровнем нагрузки на имеющиеся МБД Teradata и потенциальную возможность отказа дальнейшей работоспособности. Как результат мы получили снижение общей нагрузки на Teradata, что позволило обеспечить ее функционирование для оставшихся задач до момента завершения миграции.
На третьем этапе перевода прикладных подсистем на ArenadataDB мы поставили реализацию взаимозависимых задач и завершение процесса миграции.
Стоит отметить, что на каждом этапе миграции мы проводили работы по переводу доработанного под специфику БД функционала прикладных задач, миграцию исторического слоя данных систем, отладку системных процедур, проведение оптимизации алгоритмов работы приложений в новой среде и формирование расчетов для сверки данных Teradata и ArenadataDB.
Подводя итог проведенных работ и рассмотрев общий объем реализованных в рамках миграции задач в цифрах, можем выделить следующие моменты:
- Переведено в новую целевую архитектуру более 30 приложений и аналитических задач;
- Мигрировано и доработано более 50 форм статистической налоговой отчетности;
- Помимо самих прикладных подсистем обеспечена миграция порядка 25 источников - информационных ресурсов (РСБ, НБО, ЕГРН, 2-НДФЛ и другие);
- Адаптировано порядка 48 000 объектов (таблицы, представления, хранимые процедуры, ETL потоки);
- Общий объем данных, подлежащих миграции составил 95 Тб данных (ПАК Teradata 6700 — 66.0 Тб, ПАК Teradata 2800 — 29 Тб)).
Отдельно необходимо отметить специфику и проблематику проведенных работ, которую необходимо было учитывать на всех этапах реализации:
- Необходимость учета жизненного цикла всех прикладных задач (отчетные периоды, сроки подготовки данных и готовности методических указаний для отчетных форм во взаимосвязи со сроками разработки);
- Обязательность проведения опытной эксплуатации мигрировавших задач реальными пользователями, на реальных данных и на реальной инфраструктуре как подтверждение корректности всех проведенных процессов;
- Взаимозависимость между различными задачами по данным и их источникам;
- Обеспечение параллельного функционирования версий прикладных задач как на ArenadataDB, так и на МБД Терадате до полного завершения процесса миграции.
Считаю важным обратить ваше внимание, что особенностью нашего подхода к импортозамещению МБД Teradata было решение о разделении прикладных процессов на отдельные подпроцессы, формирование источников и данных в так называемом «Озере данных» как едином хранилище первичной информации и переводе на ArenadataDB только части расчетов и пользовательской нагрузки, что позволило в свою очередь поднять производительность конечных процессов, сократить объемы хранимых данных на СУБД и перенести часть ресурсоемких расчетов прикладных задач на слой «Озера данных».
И в завершении необходимо отметить, что в настоящее время процесс импортозамещения продолжается уже в части транзакционного сегмента данных, и со временем Oracle Exadata перестанет быть основным источником данных, в том числе для аналитических задач ФНС России.
Реализация политики импортозамещения — основа проектирования и дальнейшего устойчивого функционирования АИС «Налог» следующего поколения.
