Luxms BI Arenadata Platform Edition: преимущества интегрированного с платформой данных BI решения и целевые конфигурации развёртывания

7 июня 2022 года прошло мероприятие «CNews FORUM Кейсы: опыт ИТ-лидеров», где на секции «Большие данные и бизнес-аналитика» выступил главный конструктор Luxms BI Дмитрий Дорофеев и Иван Новоселов, директор проекта «Каталог данных» компания Arenadata.
В ходе работы секции состоялся первый публичный анонс сотрудничества между компаниями Arenadata, поставщиком платформы управления большими данными, и ГК Luxms, поставщиком BI и ETL-систем (Luxms BI и Luxms Data Boring). Они объединили усилия для обеспечения эффективного использования данных российскими организациями.
Сейчас мы видим большой интерес крупных компаний к теме управления данными и каталогам данных. Честно скажу, для меня это приятный сюрприз. Я в этой сфере работаю давно и вижу, как рынок становится более зрелым
Иван Новоселов, директор проекта «Каталог данных», Arenadata  

Бывает так, что при попытке решить какую-нибудь прикладную задачу, получается, что 80% времени расходуется не на решение как таковое, а на поиск данных: что есть у компании, можно ли это применять на практике и кто за это отвечает. При внедрении инструментов для совместной работы с данными и каталогов соотношение меняется: данные находятся за минуты, и теперь на их анализ, подготовку моделей и выводы тратятся 80% времени, а не 20%, как раньше.


Arenadata и Luxms вместе создают продукт для поддержки процессов Data Governance — Arenadata Catalog. Среди основных принципов развития продукта открытые стандарты и архитектура, автоматизация рутинных задач управления данными, поддержка всего цикла работы с данными и уровней инфраструктуры, фокус на задачах пользователей. 


Решение базируется на Open Source компонентах, интегрировано с LDAP, управлением ролями и группами, имеет функционал по управлению рабочими процессами (согласование изменений), включает в себя бизнес-глоссарий и поддерживает русский язык. Пока Arenadata Catalog находится в разработке. Пласт совместный работы большой.

Дмитрий Дорофеев, главный конструктор, ГК Luxms рассказал о еще одном продукте — Luxms BI Arenadata Platform Edition — и преимуществах этого интегрированного с платформой данных BI-решения.
Luxms BI представляет собой гибкую систему, позволяющую наращивать функционал. Она дает возможность заказчику создавать и свои микросервисы. Данные здесь хранятся в виде трех слоев: горячего (свежие данные за последний год), теплого (данные за 5 лет) и холодного. По мере устаревания, данные переходят на следующий слой с помощью ETL-инструментов, но при этом вся платформа должна поддерживать такую концепцию. Arenadata Platform позволяет создавать и поддерживать нужную систему хранения.
dmitrii_dorofeev_745x745-600x400
Для конечного пользователя по функционалу ничего особо не меняется, будет то же ядро, которое мы развиваем несколько лет. Сейчас же были предприняты интеграционные усилия, чтобы Luxms BI устанавливался и эксплуатировался так же, как все остальные компоненты Arenadata Platform
Дмитрий Дорофеев, главный конструктор, ГК Luxms  

Решение поддерживает Arenadata Cluster Manager, что обеспечивает более удобное и быстрое развертывание Luxms BI в кластерной конфигурации. Предусмотрена возможность распределять сервисы Luxms BI по нескольким серверам, что позволяет тонко настраивать производительность системы под задачи заказчика.


Для решения ETL-задач Дмитрий Дорофеев предложил инструмент Luxms Data Boring, который помогает инженерам и аналитикам готовить данные для эффективной скоростной визуализации в Luxms BI, когда витрины DWH неудобны. Он понадобится, если хранилище медленное, пользователей много и для выполнения сложной обработки данных не хватает ресурсов или нет желания нагружать хранилище запросами из BI.

Интерфейс пользователя мы сделали так, чтобы он был понятен даже не самым подготовленным дата-инженерам. Например, наши новые сотрудники — вчерашние студенты без особого опыта — очень быстро осваивают Luxms Data Boring и выполняют сложные задачи. Делают какие-то экзотические штуки, например, стыкуются с каналами в «Телеграм» или вытаскивают котировки акций из html-страниц, то есть используют инструмент нестандартно.
Дмитрий Дорофеев, главный конструктор, ГК Luxms