В поисках потерянных данных: переход со StreamSets на Luxms Data Boring
Сегодня перед ритейл-компаниями стоят новые, более сложные вызовы – максимально эффективно задействовать возможности цифровой экономики, получить преимущество в скорости и глубине анализа, и как следствие, в качестве стратегического планирования и оперативного реагирования.
Сеть магазинов косметики, парфюмерии и бытовой химии Lamel и Оптима работает на российском рынке 28 лет, постоянно увеличивая масштаб деятельности.
Сейчас это большой современный бизнес со сложной внутренней организацией и широкой географией присутствия: более 100 торговых точек в 20+ городах страны, порядка 20 тысяч наименований товаров в ассортименте, свыше миллиона лояльных клиентов.
Фирма предоставляет свою продукцию в формате POS (point of sale), широко используя при этом свою систему лояльности, скидок. И в интернет-торговле, и в магазинах важен широкий выбор и гибкие привлекательные цены. Формирование и обновление каталогов товаров, планирование и контроль финансового эффекта от различных промо-акций, как и экономика предприятия в целом, требуют сильной и качественной аналитики, в том числе обращения к ранее накопленным данным.
Ритейл - один из самых конкурентных и, как следствие, высокоцифровизированных сегментов российского бизнеса. Большинство торговых компаний не первый год комплексно применяют программные решения для сбора и анализа данных. Использование в корпоративном управлении систем ETL, DWH и BI уже давно является стандартом работы отрасли. Один из наших проектов по оптимизации цифровой аналитики 2024 года помогает развиваться сети магазинов Lamel и Оптима.
Дополнительные материалы по проекту: видео заказчика, видео с партнером и статья на Хабр
Цель и задачи проекта
Результативность цифровой аналитики зависит от многих факторов. В том числе - от оптимального выбора технологий, архитектуры и адаптации к требованиям клиента:
- Какое хранилище данных Data Warehouse (DWH) будет полнее соответствовать специфике ритейла;
- Как лучше организовать процесс извлечения, преобразования, загрузки данных (ETL).
В данном случае, компания обратилась к нам с проблемой того, что автоматизированные процессы обработки данных стали давать сбои. Как следствие - складские работники получали неточную информацию по остаткам, соответственно, при формировании отгрузки на точки продаж могли не укомплектовать часть товара.
Нашим инженерам и инженерам наших партнеров из DBI предстояло решить эту задачу, в том числе за счет правильного подбора технологий и архитектуры.
Способ решения
Специалистами Luxms совместно с DBI было предложено решение - технический и логический апгрейд, способствующий предотвращению потери данных из всех источников, а также отказоустойчивость системы согласно требованиям 2024 года.
Для этого специалисты DBI взяли за основу DWH уже имеющуюся у заказчика, но устаревшую версию СУБД Greenplum, которую нужно было обновить до v 6.23.3.
Однако обновление ПО без целостного архитектурного подхода не гарантирует устранение ошибок. Поэтому:
- Команда Luxms провела анализ архитектуры текущего хранилища данных, обсудила с бизнес-аналитиками Lamel и Оптима их запросы по скорости работы системы, а также требования по доступности данных;
- Команда DBI учла имеющиеся в наличии ресурсы заказчика в части цифровой инфраструктуры и модернизировала DWH с учетом всех пожеланий.
Специалисты Luxms для повышения отказоустойчивости и корректной передачи данных провели еще ряд работ:
- Создали кластерную архитектуру для поддержания отказоустойчивости;
- Разнесли мастер и слэйв части системы на разные платформы, добившись повышения производительности и скорости восстановления в случае сбоев.
- Мигрировали с CentOS 7 на RockyLinux 8, поскольку компания-производитель перестала выпускать обновления для CentOS 7 с 30 июня 2024 года;
- Мигрировали со StreamSets на Luxms Data Boring, поскольку StreamSets – иностранное ПО, которое невозможно обновлять и сопровождать, Data Boring - продукт российского происхождения, подходящий под все условия импортозамещения;
- Настроили все необходимые процессы.
Помимо более быстрой и безотказной обработки данных, у заказчика был запрос на новые методы мониторинга процессов. Команда Luxms, совместно со сотрудниками заказчика настроила мониторинг средствами Luxms Data Boring и отправку уведомлений в чат на телефоне в случае возникновения нештатных ситуаций.
Результаты проекта
Проект оптимизации цифровой аналитики для сети магазинов Lamel и Оптима успешно завершен в намеченные сроки. В результате:
- система работает в штатном режиме, ошибки потери пакетов ушли;
- все розничные точки бесперебойно получают пополнение товара;
- быстрые уведомления в чат повысили оперативность реагирования на нештатные ситуации;
- отечественная разработка соответствует программе импортозамещения;
- команда заказчика обрела новый ETL-инструмент, в котором также научилась работать и далее поддерживать самостоятельно;
- подготовлена специализированная техническая документация всего решения для клиента.
Поможем и ответим на вопросы
