Высокоскоростной инструмент подготовки аналитических витрин

Группа компаний Luxms, эксперт в области обработки, анализа и управления большими данными, выступила партнером VI форума «Управление данными 2021», организованного издательством «Открытые системы» в Москве.

Форум объединил около 500 представителей крупнейших компаний – ВТБ, Сбер, УралХим, МТС, Билайн, Arenadata. Среди спикеров были как сотрудники больших организаций – профессионалы, определяющие стратегию работы с данными и воплощающие ее в жизнь, так и вендоры, представившие свои новейшие разработки и интеграции.

Сергей Шестаков, Генеральный директор ГК Luxms, и Дмитрий Дорофеев, Главный конструктор группы компаний, выступили в сессии «Архитектуры и платформы» с докладом «Высокоскоростной инструмент подготовки аналитических витрин».

Спикеры рассказали об особенностях и преимуществах post-ETL инструмента Luxms Data Boring, а также поделились деталями интеграции Luxms BI с Informatica EDC.

Особое внимание уделено возможностям интеграции продукта с системами управления данными, в частности, использующими технологии искусственного интеллекта, на примере Informatica Data Catalog и библиотек AI/ML на примере Greenplum MADlib.

Задача аналитики на больших данных, поступающих из множества внешних и внутренних источников, обладающих различными структурами и схемами индексации, усложняется необходимостью визуализировать их в реальном времени для тысяч одновременно работающих пользователей.

В результате, как показывает практика, для многих крупных инсталляциях систем бизнес-аналитики наблюдается резкое снижение быстродействия.

Одним из решений может быть многоуровневая оптимизация: во-первых, оптимизация ETL-алгоритмов и создание горячего слоя хранения; во-вторых, оптимизация исполнения бизнес-логики за счет дата-центрической архитектуры сервера визуализации.

Олег Гиацинтов, Технический директор DIS Group, также упомянул интеграцию Luxms BI с Informatica EDC в своем докладе. Доклад Олега Гиацинтова доступен по ссылке.