Обработка данных в Luxms BI

Эффективная аналитика невозможна без качественной подготовки данных. В Luxms BI предусмотрены встроенные инструменты для обработки данных, удобная работа с различными форматами файлов и поддержка популярных аналитических решений. Это позволяет легко загружать, преобразовывать и использовать данные в удобном для анализа виде, создавая надежную основу для визуализации и принятия решений

Встроенный ETL/ELT инструмент

В Luxms BI есть встроенный No/Low-Code ETL/ELT-инструмент Luxms BI Data Boring.

Модель программирования Data Boring на основе потоков идеально подходит для линейных рабочих процессов, включающих задачи обработки данных и автоматизации. Пользователи могут визуально проектировать свои рабочие процессы, перетаскивая и соединяя узлы в редакторе Data Boring.

Подходит для быстрого прототипирования - позволяет быстро выстроить связь с разнородными источниками данных, а также не требует знания программирования для решения практических задач.

Подробнее об инструменте

Подготовка витрин/кубов данных (data engineering)

Объединение, очистка и трансформация данных из различных источников для формировать единых, доступных и производительных витрин/кубов данных.

При использовании ИИ-аналитика он сам формирует необходимые витрины, забирая данные из источников.

Загрузка Excel

В Luxms BI реализована простая работа с загрузкой Excel: можно использовать Excel как источник данных, просто перетащив его на страницу дэшборда. При этом поддерживается загрузка без предварительной подготовки файла – без очистки от группировок, формул, форматов ячеек.

Также есть возможность простым способом обновить или дозагрузить Excel в уже созданный источник данных. И это при поддержке всей истории изменений – кто и кем внесены правки с сохранением комментариев.

Адаптивная модель

Аналог ассоциативной модели Qlik

В Luxms BI реализована первая очередь функционала адаптивной модели — возможность создавать новые кубы данных, просто перетаскивая мышкой таблицы из источника данных на холст (листик в клеточку). Поддерживает удобное переименование столбцов прямо в интерфейсе, мышкой, с возможностью давать русские имена полям. Модель можно редактировать в визуальном редакторе после сохранения.

В отличие от прошлых версий и большинства BI-платформ (Power BI, Tableau и др):

модель не фиксирует жестко тип связи;
запросы формируются динамически — только по нужным таблицам.

Адаптивная модель Luxms BI — это визуально-логическая модель с поддержкой схем «звезда» и «снежинка», динамической генерацией запросов и возможностью работы как с новыми, так и со старыми кубами. Все работает быстрее, без лишних JOIN’ов, с сохранением гибкости и совместимости.

Подробнее о модели

OLAP-анализ в Luxms BI

Luxms BI включает собственный OLAP-модуль для многомерного анализа данных. Решение позволяет работать с аналитическими кубами, измерениями, иерархиями и расчётными показателями, обеспечивая быстрый доступ к информации даже при больших объёмах данных.

Пользователи могут исследовать данные в различных разрезах, детализировать показатели до первоисточника, сравнивать результаты по периодам, регионам, продуктам и другим бизнес-измерениям. Такой подход помогает быстрее выявлять закономерности, находить причины отклонений и принимать обоснованные управленческие решения.

OLAP-модуль работает на современных высокопроизводительных СУБД, в том числе StarRocks и ClickHouse, обеспечивая высокую скорость обработки аналитических запросов. Поддержка стандартов OLAP, протокола XMLA и и MDX-запросов упрощает интеграцию в существующий ИТ-ландшафт и снижает затраты на миграцию с зарубежных решений.

Это позволяет объединить хранение данных, аналитическую обработку и визуализацию в едином контуре без зависимости от зарубежных технологий на базе полностью российского решения.

Поддержка файлов Qlik (QVD-файлы)

Файл QVD — это файл, в котором содержится таблица данных, экспортируемых из Qlik Sense или QlikView. Пользователь может легко загрузить QVD-файлы и создавать визуализации в Luxms BI на основе полученных данных. Импорт осуществляется в пользовательском интерфейсе аналогично загрузке Excel или CSV файлов. Это особенно полезно для клиентов, все еще использующих Qlik и имеющих множество ETL-процессов на этой платформе.

Постепенный переход от дэшбордов на Qlik к использованию Luxms BI для визуализации QVD-файлов является первым шагом в полном отказе от ушедшей с российского рынка системы Qlik, сохраняя при этом существующие ETL-процессы.

Сейчас идет активная разработка парсера Qlik, который показывает, какие данные используются в скриптах трансформации Qlik, как из СУБД, так и в файловой системе, чтобы при миграции с Qlik удобнее было перенести всю информацию и потом визуализировать в Luxms BI.

Интеграция с SSAS (MDX) в Luxms BI

Luxms BI поддерживает MDX запросы для использования всех возможностей аналитики (возможность подключать в качестве источника данных SSAS (MDX)). Это позволяет использовать данные из уже существующих многомерных баз данных без необходимости их преобразования.

Интеграция с SSAS (MDX) совместно с использованием LPE языка позволит комфортно мигрировать с Power BI на Luxms BI. Прямо сейчас мы ведем 2 крупные миграции, в рамках одной из которых переводим более 1000 дэшбордов.

Подробнее про реализацию MDX-запросов в нашем блоге на Хабре.

Подключения к источникам и СУБД

Luxms BI может брать данные любой сложности, любой вложенности, из любого источника:

СУБД;
Хранилища: Teradata DWH;
BigData источники Hadoop: HBase, Hive;
Системы бухгалтерского учёта: 1С, ПАРУС;
Таблицы Excel и CSV файлы;
Специализированные системы учёта;
Неструктурированные источники, архивы;
Потоковые источники, в т.ч. реального времени: очереди и логи сообщений, такие как Apache Kafka, MQTT, RabbitMQ, Syslog, SNMP, Redis и т.д.
Все источники данных, поддерживаемые Apache NiFi (посредством формируемых с помощью NiFi витрин/csv).

Демонстрация платформы

Посмотрите на все возможности обратки данных и получите ответы на свои вопросы от наших экспертов