«ИТ-мост гигантов»: миграция данных при слиянии брокерских компаний с помощью Luxms BI
При слиянии двух крупных финансовых организаций требовалось перенести данные из одного в ИТ-ландшафт другого, сохранив непрерывность обслуживания клиентов и торговых операций. Для этого команда построила на базе Luxms BI единый контур миграции, который объединил сбор и подготовку данных, контроль качества, коммуникацию с клиентами, передачу данных и мониторинг всего процесса.
За шесть месяцев команда реализовала полный цикл миграции, а непосредственно перенос данных занял 20 рабочих дней.
Дополнительные материалы: видео-выступление о проекте
Цели и задачи
Миграция проходила в условиях объединения двух крупных финансовых организаций с большим количеством разрозненных информационных систем (из Брокера 1 в Брокера 2). Нужно было перенести сотни тысяч клиентских записей, миллионы счетов и большой объем сопутствующих документов, при этом продолжая обслуживать клиентов.
Для финансовой организации такой проект связан не только с техническими сложностями. Ошибки в клиентских данных, сбои при передаче информации или длительная остановка сервисов могли привести к финансовым и репутационным последствиям.
Перед командой проекта стояли задачи:
-
собрать данные из десятков источников и объединить их в единый контур;
-
очистить, унифицировать и подготовить данные к передаче;
-
обеспечить многоуровневую проверку качества данных;
-
автоматизировать подготовку и передачу данных в нового брокера;
-
организовать обработку результатов передачи и контроль статусов;
-
обеспечить возможность ручной проверки и корректировки данных;
-
организовать массовое информирование клиентов и сбор их согласий;
-
сохранить бесперебойность торговых операций на время миграции;
-
обеспечить оперативный контроль процесса и раннее выявление проблем.
Способ решения
При выборе решения основными стояли вопросы безопасности и контроля данных, поэтому вести процесс миграции вручную, через реестры и Excel, не получится: контролировать актуальность таких данных и отслеживать их изменения, сохранность было практически невозможно.
Поэтому на первом этапе рассматривалась возможность использовать уже существующие в компании системы. Однако такой подход потребовал бы значительных доработок и не исключил бы ручные операции.
В результате у нас получилась классическая хранилищная архитектура, где в центре стоит Luxms BI со всеми своими ETL-средствами и блоком визуализации. Он умеет брать данные из огромного количества систем, может интегрироваться практически с любыми системами, которые могут нам встретиться по дороге, как с внутренними, так и с внешними, и предоставляет неплохой интерфейс для реализации тех модулей, которые нам нужно было создать.
В качестве фундамента решения использовали Luxms BI и встроенные инструменты обработки данных Luxms Data Boring.
Единый конвейер данных
На базе Luxms BI построили единый конвейер для данных из источников Брокера 1. Данные проходили последовательные этапы сбора, очистки, унификации и подготовки к передаче.
Для контроля качества реализовали более 100 проверок. Они позволяли выявлять ошибки и несоответствия до передачи данных в Брокера 2, а онлайн-проверки и оперативная загрузка помогали своевременно обнаруживать проблемы по мере работы исходных систем.
Часть данных требовала дополнительной ручной проверки и корректировки. Для этого в системе предусмотрели соответствующие процессы контроля, чтобы операционные сотрудники могли работать с проблемными записями до их передачи.
Автоматическая передача данных
После проверки данные автоматически подготавливались к передаче в Брокера 2. Из-за большого объема информации миграцию проводили поэтапно, траншами.
Для каждого транша система формировала необходимый набор данных, передавала его в Брокера 2, принимала результат обработки и обновляла статусы. Это позволило отказаться от ручного управления передачей и контролировать прохождение данных на каждом этапе.
Контроль процесса
Для руководства и операционной команды создали ситуационный центр на основе дэшбордов. Он позволял видеть состояние миграции и оперативно реагировать на возникающие проблемы.
Вместо разрозненных отчетов участники проекта получили единый источник информации о ходе процесса и статусах данных.
Коммуникация с клиентами
Отдельным направлением стала коммуникация с клиентами. Поскольку речь шла о переводе брокерских клиентов и связанных с ними счетов и документов, требовалось не только перенести данные, но и своевременно проинформировать клиентов о переходе.
На базе решения реализовали омниканальные коммуникации через SMS и e-mail, массовые персонализированные рассылки оферт и сбор согласий. Клиенты могли взаимодействовать с процессом также через личный кабинет и мобильное приложение, а ответы обрабатывались автоматически.
Взаимодействие с биржами
Для сохранения непрерывности торговых операций организовали процессы коммуникации и координации с ММВБ и СПБ-биржей.
Это позволило проводить миграцию без длительного вывода клиентов из обслуживания и поддерживать их возможность работать с финансовыми инструментами в период подготовки к переходу.
Особенности проекта
Критичность данных и безопасность
Проект проходил в высокорегулируемой финансовой среде. Миграция затрагивала клиентские данные, счета, документы и операции, связанные с брокерским обслуживанием и торговлей на биржах.
Поэтому одной из ключевых задач было не просто перенести данные, а обеспечить контролируемость и безопасность процесса на всех этапах. Требования к качеству данных и исполнению федерального законодательства дополнялись высокими репутационными рисками: ошибка при миграции могла повлиять не только на работу отдельных сервисов, но и на доверие клиентов к финансовой организации.
Вместо ручного управления большими массивами информации проект построили как автоматизированный контролируемый процесс. Это позволило отслеживать прохождение данных, результаты проверок и статусы клиентов и заранее выявлять потенциальные проблемы.
Масштаб и сложность
400+ тыс. клиентских записей
2+ млн клиентских счетов
4+ млн сканов документов
20 источников данных
100+ проверок качества данных
15 человек в команде проекта: 8 аналитиков и 7 разработчиков
200+ решенных задач
20 рабочих дней на непосредственную миграцию данных
Результат
За два месяца команда разработала основной контур решения для миграции данных. Полный проект занял шесть месяцев, включая подготовку, реализацию и проведение миграции.
За 20 рабочих дней данные были полностью перенесены в рамках автоматизированного процесса с использованием траншей. При этом было передано более 4 млн сканов документов, а обслуживание клиентов останавливалось только на один день.
Более 90% клиентов были проинформированы с первой попытки. Автоматизация коммуникаций, обработки ответов и передачи данных позволила снизить объем ручных операций и обеспечить управляемость процесса на каждом этапе.
В результате Luxms BI выступила не только инструментом визуализации, но основой единого операционного контура, который связал данные, процессы, участников проекта и внешние системы. Это позволило провести масштабную миграцию в условиях жестких сроков, высоких требований к качеству и безопасности данных и необходимости сохранить непрерывность обслуживания клиентов.
Поможем и ответим на вопросы