Хранилище данных для телекома: как устроены DWH и DMP
Хранилище данных собирает информацию из систем оператора, приводит ее к единому виду и отдает витрины во внешние BI-системы. Главный практический эффект — тяжелые аналитические запросы перестают выполняться на продуктивном биллинге, где они конкурируют с тарификацией за ресурсы. Схема загрузки бывает двух видов: преобразование до загрузки или после нее.
Хранилище данных собирает информацию из систем оператора, приводит ее к единому виду и отдает готовые срезы тем, кто с ними работает: аналитикам, BI-инструментам, системам маркетинга.
Состав продукта — на странице Forward DMP.
Зачем это выносить из биллинга
| Тип работы | Где выполняется | Почему |
|---|---|---|
| Операционный отчет | Продуктивная расчетная система | Короткий, нужен сразу, читает мало данных |
| Сводная аналитика | Хранилище | Читает много данных за длинный период |
| Корреляция источников | Хранилище | Данные из разных систем нужно сначала сопоставить |
| Профиль клиента | Хранилище | Агрегаты по потреблению, платежам и обращениям |
| Реакция на событие | Система маркетинга в реальном времени | Решение нужно за секунды, а не по расписанию |
Граница между первой и второй строкой проводится на этапе обследования и обычно проходит не там, где ее ожидают: часть привычно «тяжелых» отчетов после нормализации данных считается быстро, а часть коротких на вид запросов читает половину базы.
Два порядка загрузки
ETL — преобразование до загрузки. В хранилище попадает уже приведенный к нужному виду набор. Экономит место, дает предсказуемую структуру, но изменившаяся задача требует новой загрузки.
ELT — преобразование внутри хранилища. Сырые данные загружаются как есть, а обработка выполняется на месте. Занимает больше места, зато позволяет пересчитать иначе, когда вопрос к данным изменился.
Выбор зависит от того, насколько стабильны требования к отчетности. Там, где набор отчетов меняется каждый квартал, второй порядок обычно оказывается дешевле в сумме.
Витрины
Витрина — это подготовленный под задачу срез: агрегаты, показатели, признаки. BI-инструмент читает витрину, а не сырые таблицы, поэтому отчет строится быстро и одинаково у всех, кто им пользуется.
Обновляются витрины по расписанию, своему у каждой. Реальное время для хранилища избыточно: сценарии, которым нужна мгновенная реакция, работают в Forward RTM на живых событиях.
С чего начинать
Со списка решений, которые должны приниматься на этих данных. Хранилище, построенное «на всякий случай», наполняется и не используется: никто не знает, какие вопросы к нему задавать.
Обратный порядок — от конкретного вопроса, на который бизнес хочет получать ответ регулярно, — сразу задает состав источников, глубину истории и структуру витрин.
В проектах
В РБК на данных контура работала система персональных офферов и маркетинговых кампаний. В «Альфа-Мобайл» аналитическая часть входила в состав платформы виртуального оператора.
Вопросы и ответы
Зачем оператору отдельное хранилище?
Чтобы разделить два типа работы. Расчетная система занята тарификацией и закрытием периода; тяжелый запрос по всей базе за год мешает ей это делать. Повседневные операционные отчеты остаются на продуктивной системе, а сводная аналитика и корреляция разнородных данных уходят в хранилище.
Чем DWH отличается от DMP?
В отраслевой практике термины часто используются как синонимы, и разница скорее в акценте. Хранилище данных описывает способ организации: собрать, привести к единому виду, хранить историю. Платформа управления данными делает акцент на применении — профилях, сегментах, витринах для систем, которые работают с клиентом. На практике речь об одном контуре.
Что такое ETL и ELT?
Два порядка загрузки. При ETL данные преобразуются до попадания в хранилище: в него ложится уже приведенный к нужному виду набор. При ELT сырые данные загружаются как есть, а преобразование выполняется внутри хранилища. Первый экономит место и дает предсказуемую структуру, второй сохраняет исходные данные и позволяет пересчитать иначе, когда задача изменилась.
Что такое витрина данных?
Подготовленный под конкретную задачу срез: агрегаты, показатели и признаки, которые нужны для отчета или для работы другой системы. BI-инструмент читает витрину, а не сырые таблицы, поэтому отчет строится быстро и одинаково у всех, кто им пользуется.
Как часто обновляются данные?
По расписанию, свое у каждой витрины. Регулярная отчетность обновляется реже, данные для маркетинговых сценариев чаще. Обновление в реальном времени для хранилища обычно избыточно: сценарии, которым нужна мгновенная реакция, работают в системе маркетинга в реальном времени на живых событиях.
С чего начинать проект?
Со списка отчетов и решений, которые должны появиться. Хранилище, построенное «на всякий случай», наполняется данными и не используется. Обратный порядок — от конкретного вопроса, на который бизнес хочет получать ответ регулярно, — задает и состав источников, и структуру витрин.