Миграция брокеров

«ИТ-мост гигантов»: миграция данных при слиянии брокерских компаний с помощью Luxms BI

При слиянии двух крупных финансовых организаций требовалось перенести данные из одного в ИТ-ландшафт другого, сохранив непрерывность обслуживания клиентов и торговых операций. Для этого команда построила на базе Luxms BI единый контур миграции, который объединил сбор и подготовку данных, контроль качества, коммуникацию с клиентами, передачу данных и мониторинг всего процесса.

За шесть месяцев команда реализовала полный цикл миграции, а непосредственно перенос данных занял 20 рабочих дней.

Дополнительные материалы: видео-выступление о проекте

Цели и задачи

Миграция проходила в условиях объединения двух крупных финансовых организаций с большим количеством разрозненных информационных систем (из Брокера 1 в Брокера 2). Нужно было перенести сотни тысяч клиентских записей, миллионы счетов и большой объем сопутствующих документов, при этом продолжая обслуживать клиентов.


Для финансовой организации такой проект связан не только с техническими сложностями. Ошибки в клиентских данных, сбои при передаче информации или длительная остановка сервисов могли привести к финансовым и репутационным последствиям.


Перед командой проекта стояли задачи:


  • собрать данные из десятков источников и объединить их в единый контур;

  • очистить, унифицировать и подготовить данные к передаче;

  • обеспечить многоуровневую проверку качества данных;

  • автоматизировать подготовку и передачу данных в нового брокера;

  • организовать обработку результатов передачи и контроль статусов;

  • обеспечить возможность ручной проверки и корректировки данных;

  • организовать массовое информирование клиентов и сбор их согласий;

  • сохранить бесперебойность торговых операций на время миграции;

  • обеспечить оперативный контроль процесса и раннее выявление проблем.

Способ решения

При выборе решения основными стояли вопросы безопасности и контроля данных, поэтому вести процесс миграции вручную, через реестры и Excel, не получится: контролировать актуальность таких данных и отслеживать их изменения, сохранность было практически невозможно.


Поэтому на первом этапе рассматривалась возможность использовать уже существующие в компании системы. Однако такой подход потребовал бы значительных доработок и не исключил бы ручные операции.

И тут мы обратили внимание, что к этому моменту в компании был приобретён Luxms BI. Мы были с ним немножко знакомы, посмотрели на систему и поняли, что она нам идеально подходит для того, чтобы реализовать полный комплекс решений, которые нам потребуются в процессе миграции.

В результате у нас получилась классическая хранилищная архитектура, где в центре стоит Luxms BI со всеми своими ETL-средствами и блоком визуализации. Он умеет брать данные из огромного количества систем, может интегрироваться практически с любыми системами, которые могут нам встретиться по дороге, как с внутренними, так и с внешними, и предоставляет неплохой интерфейс для реализации тех модулей, которые нам нужно было создать.
Андрей Савичев,  технический руководитель
Архитектура мост гигантов

В качестве фундамента решения использовали Luxms BI и встроенные инструменты обработки данных Luxms Data Boring.


Единый конвейер данных


На базе Luxms BI построили единый конвейер для данных из источников Брокера 1. Данные проходили последовательные этапы сбора, очистки, унификации и подготовки к передаче.


Для контроля качества реализовали более 100 проверок. Они позволяли выявлять ошибки и несоответствия до передачи данных в Брокера 2, а онлайн-проверки и оперативная загрузка помогали своевременно обнаруживать проблемы по мере работы исходных систем. 


Часть данных требовала дополнительной ручной проверки и корректировки. Для этого в системе предусмотрели соответствующие процессы контроля, чтобы операционные сотрудники могли работать с проблемными записями до их передачи.


Автоматическая передача данных


После проверки данные автоматически подготавливались к передаче в Брокера 2. Из-за большого объема информации миграцию проводили поэтапно, траншами.


Для каждого транша система формировала необходимый набор данных, передавала его в Брокера 2, принимала результат обработки и обновляла статусы. Это позволило отказаться от ручного управления передачей и контролировать прохождение данных на каждом этапе.


Контроль процесса


Для руководства и операционной команды создали ситуационный центр на основе дэшбордов. Он позволял видеть состояние миграции и оперативно реагировать на возникающие проблемы.


Вместо разрозненных отчетов участники проекта получили единый источник информации о ходе процесса и статусах данных.


Коммуникация с клиентами


Отдельным направлением стала коммуникация с клиентами. Поскольку речь шла о переводе брокерских клиентов и связанных с ними счетов и документов, требовалось не только перенести данные, но и своевременно проинформировать клиентов о переходе.


На базе решения реализовали омниканальные коммуникации через SMS и e-mail, массовые персонализированные рассылки оферт и сбор согласий. Клиенты могли взаимодействовать с процессом также через личный кабинет и мобильное приложение, а ответы обрабатывались автоматически.


Взаимодействие с биржами


Для сохранения непрерывности торговых операций организовали процессы коммуникации и координации с ММВБ и СПБ-биржей.


Это позволило проводить миграцию без длительного вывода клиентов из обслуживания и поддерживать их возможность работать с финансовыми инструментами в период подготовки к переходу.

Особенности проекта

Критичность данных и безопасность

Проект проходил в высокорегулируемой финансовой среде. Миграция затрагивала клиентские данные, счета, документы и операции, связанные с брокерским обслуживанием и торговлей на биржах.

Поэтому одной из ключевых задач было не просто перенести данные, а обеспечить контролируемость и безопасность процесса на всех этапах. Требования к качеству данных и исполнению федерального законодательства дополнялись высокими репутационными рисками: ошибка при миграции могла повлиять не только на работу отдельных сервисов, но и на доверие клиентов к финансовой организации.

Вместо ручного управления большими массивами информации проект построили как автоматизированный контролируемый процесс. Это позволило отслеживать прохождение данных, результаты проверок и статусы клиентов и заранее выявлять потенциальные проблемы.

Масштаб и сложность

400+ тыс. клиентских записей

2+ млн клиентских счетов

4+ млн сканов документов

20 источников данных

100+ проверок качества данных

15 человек в команде проекта: 8 аналитиков и 7 разработчиков

200+ решенных задач

20 рабочих дней на непосредственную миграцию данных


Luxms BI стал фундаментом моста между двумя крупными организациями. На одной платформе мы смогли объединить работу с данными, автоматизацию процессов и контроль миграции, а главное - получить прозрачность всего процесса от подготовки данных до передачи результата.
Андрей Савичев,  технический руководитель

Результат

За два месяца команда разработала основной контур решения для миграции данных. Полный проект занял шесть месяцев, включая подготовку, реализацию и проведение миграции.


За 20 рабочих дней данные были полностью перенесены в рамках автоматизированного процесса с использованием траншей. При этом было передано более 4 млн сканов документов, а обслуживание клиентов останавливалось только на один день.


Более 90% клиентов были проинформированы с первой попытки. Автоматизация коммуникаций, обработки ответов и передачи данных позволила снизить объем ручных операций и обеспечить управляемость процесса на каждом этапе.


В результате Luxms BI выступила не только инструментом визуализации, но основой единого операционного контура, который связал данные, процессы, участников проекта и внешние системы. Это позволило провести масштабную миграцию в условиях жестких сроков, высоких требований к качеству и безопасности данных и необходимости сохранить непрерывность обслуживания клиентов.

Проект показал, что Luxms BI - это больше, чем BI-система. Платформа может выступать основой для решения сложных операционных задач, где нужны работа с данными, автоматизация процессов, интеграции и оперативный контроль в едином контуре.

Поможем и ответим на вопросы

Заполните форму, и мы с вами свяжемся
Ошибка. Введите имя
Ошибка. Введите корректный email
Ошибка. Введите корректный телефон