Инструментарий хранения и анализа данных. Полное руководство по размерному моделированию

Благодарности
Введение
Для кого эта книга
Структура книги
Глава 1. Хранение данных, анализ данных и
основы размерного моделирования
Глава 2. Обзор методов размерного моделирования
Кимбалла
Глава 3. Розничные продажи
Глава 4. Склад
Глава 5. Закупки
Глава 6. Управление заказами
Глава 7. Бухгалтерский учет
Глава 8. Управление взаимоотношениями с
клиентами
Глава 9. Управление персоналом
Глава 10. Финансовые услуги
Глава 11. Телекоммуникации
Глава 12.Транспортировка
Глава 13. Образование
Глава 14.Здравоохранение
Глава 15. Электронная коммерция
Глава 16. Страхование
Глава 17. Обзор жизненного цикла Кимбалла
Глава 18. Процессы и задачи размерного
моделирования
Глава 19. Подсистемы и методы ETL
Глава 20. Задачи и процессы разработки и
проектирования систем ETL
Глава 21. Аналитика больших данных
Веб-сайты
1 Выводы
Хранение данных, анализ данных и основы
размерного моделирования
Различные миры сбора и анализа данных
Цели хранения и анализа данных
Сравнение обязанностей менеджеров DW/BI с
издательским бизнесом
Введение в размерное моделирование
Схема "звезда" против кубов OLAP
Таблицы фактов для измерений
Таблицы измерений для описательного контекста
Факты и измерения, объединенные в схему
"звезда"
DW/BI-архитектура Кимбалла
Операционные исходные системы
Система извлечения, преобразования и загрузки
Область представления для поддержки анализа
данных
Приложения по анализу данных
Архитектура Кимбалла и метафора ресторана
Альтернативные архитектуры DW/BI
Независимая архитектура Data Mart ("Витрина
данных")
Веерная архитектура корпоративной
Информационной фабрики Инмона
Гибридная веерная и кимбалловская архитектура
Мифы о размерном моделировании
Миф 1: размерные модели только для сводных
данных
Миф 2: размерные модели для отделов, а не для
предприятий в целом
Миф 3: размерные модели не масштабируемы
Миф 4: размерные модели только для заранее
определенного использования
Миф 5: размерные модели не интегрируемы
Еще больше причин мыслить многомерно
Соглашения Agile
Выводы
2 Обзор методов размерного моделирования
Кимбалла
Основные концепции
Соберите бизнес-требования и реалии данных
Совместные рабочие сессии по пространственному
моделированию
Четырехэтапный процесс размерного
проектирования
Бизнес-процессы
Зернистость
Измерения для описательного контекста
Факты для измерений
Схема "звезда" и кубы OLAP
Стабильные расширения размерных моделей
Основные методы работы с таблицами фактов
Структура таблиц фактов
Аддитивные,полуаддитивные и неаддитивные
факты
Пустые значения (Null) в таблицах фактов
Согласованные факты
Таблицы фактов транзакций
Таблицы фактов периодических моментальных
снимков
Накопительные таблицы фактов моментальных
снимков
Таблицы фактов без показателей
Агрегированные таблицы фактов, или кубы OLAP
Консолидированные таблицы фактов
Основные методы работы с таблицами измерений
Структура таблицы измерений
Суррогатные ключи измерений
Натуральные, стойкие и сверхнатуральные ключи
Детализация
Вырожденные измерения
Денормализованные плоские измерения
Несколько иерархий в измерениях
Флаги и индикаторы как текстовые атрибуты
Пустые атрибуты в измерениях
Измерение "Календарная дата"
Важные ролевые изменения
Мусорные измерения
Измерения в виде "снежинки"
Измерения с внешней опорой
Интеграция через согласованные измерения
Согласованные измерения
Сжатые измерения
Копаем вширь
Цепочка значений
Архитектура шины корпоративного хранилища
данных
Матрица шины корпоративного хранилища данных
Подробная матрица шины реализации
Матрица возможностей/заинтересованных сторон
Работа с атрибутами медленно изменяющегося
измерения
Тип 0: сохранение оригинала
Тип 1:перезапись
Тип 2: добавление новой строки
Тип 3: добавление нового атрибута
Тип 4: добавление мини-измерения
Тип 5: добавление мини-измерения и внешней
опоры типа 1
Тип 6: добавление атрибута типа 1 к измерению
типа 2
Тип 7: двойные измерения типа 1 и типа 2
Работа с иерархиями измерений
Позиционные иерархии с фиксированной глубиной
Иерархии с пропущенными уровнями / иерархии
переменной глубины
Неровные иерархии/иерархии переменной глубины
с соединительными таблицами иерархии
Рваные иерархии/иерархии переменной глубины с
атрибутами пути
Продвинутые методы работы с таблицами фактов
Суррогатные ключи таблицы фактов
Таблицы -"сороконожки" с фактами
Числовые значения как атрибуты или факты
Факты о задержке/продолжительности
Заголовок/строка в таблице фактов
Выделенные факты
Таблицы фактов прибылей и убытков с выделением
фактов
Факты разных валют
Факты с множественными единицами измерения
Факты текущего года (Year-to-date)
Многопроходный SQL, чтобы избежать
объединения таблиц "факт - факт"
Отслеживание промежутка времени в таблицах
фактов
Факты, появляющиеся с опозданием
Расширенные методы работы с измерениями
Соединения таблиц "измерение - измерение"
Многозначные измерения и соединительные
таблицы
Многозначные соединительные таблицы,
меняющиеся во времени
Временной ряд тега поведения
Исследовательские группы изучения поведения
Агрегированные факты как атрибуты измерения
Динамические диапазоны значений
Измерение "Текстовые комментарии"
Несколько часовых поясов
Измерения типа "Показатель"
Измерения "Шаг"
Измерения с возможностью горячей замены
Абстрактные общие измерения
Измерения "Аудит"
Измерения, прибывающие с опозданием
Схемы специального назначения
Схемы супертипа и подтипа для гетерогенных
продуктов
Таблицы фактов в реальном времени
Схемы событий ошибок
3 Розничные продажи
Четырехэтапный процесс размерного
проектирования
Шаг 1: выбор бизнес-процесса
Шаг 2:объявление зернистости
Шаг 3:определение измерений
Шаг 4: определение фактов
Пример использования в розничной торговле
Шаг 1: выбор бизнес-процесса
Шаг 2: объявление зернистости
Шаг 3:определение измерений
Шаг 4: определение фактов
Подробная информация о таблице измерений
Измерение "Дата"
Измерение "Продукт"
Измерение "Магазин"
Измерение "Промоакция"
Прочие измерения розничных продаж
Вырожденные измерения для номеров транзакций
Розничная схема в действии
Расширяемость схемы розничных продаж
Таблицы фактов без метрик Ключи таблиц
измерений и фактов
Суррогатные ключи таблицы измерений
Натуральные, стойкие и сверхнатуральные ключи
Суррогатные ключи вырожденного измерения
Умные ключи измерения "Дата"
Суррогатные ключи таблицы фактов
Сопротивление стремлению к нормализации
Схемы "снежинки" с нормализованными
измерениями
Внешняя опора
Таблицы фактов "сороконожка" со "слишком
большим количеством измерений"
Выводы
4 Склад
Введение в цепочку ценности
Модели инвентаризации
Периодический моментальный снимок
инвентаризации
Полуаддитивные факты
Расширенные сведения о запасах
Операции с запасами
Накопительный моментальный снимок запасов
Типы таблиц фактов
Таблицы фактов транзакций
Таблицы фактов периодических снимков
Накопительные таблицы фактов моментальных
снимков
Задержки между этапами и количество этапов
Накопление обновлений снимков и кубов OLAP
Дополнительные типы таблиц фактов
Интеграция цепочки ценности
Архитектура шины хранилища корпоративных
данных
Понимание архитектуры шины
Матрица шины корпоративного хранилища данных
Согласованные измерения
Горизонтальный анализ таблицы фактов
Идентичные согласованные измерения
Сжатие согласованного измерения с
подмножеством атрибутов
Сжатие согласованного измерения с
подмножеством строк
Сжатые согласованные размеры на матрице шины
Ограниченная согласованность
Важность управления данными и ответственности
за данные
Согласованные измерения и движение к Agile
Согласованные факты
Выводы
5 Закупки
Закупки:практический пример
Закупочные операции и матрица шины
Одна или много таблиц фактов транзакций
Дополнительный моментальный снимок закупок
Основные сведения о медленно меняющихся
измерениях
Тип 0: сохранение оригинала
Тип 1: перезапись
Тип 2: добавление новой строки
Тип 3: добавление нового атрибута
Тип 4: добавление мини-измерения
Гибридные методы медленно изменяющихся
измерений
Тип 5: добавление мини-измерения и внешней
опоры типа 1
Тип 6: добавление атрибута типа 1 к измерению
типа 2
Тип 7: Двойные измерения типа 1 и типа 2
Тип 7 для незапланированных отчетов "По
состоянию на"
Обобщение медленно меняющихся измерений
Выводы
6 Управление заказами
Матрица шины управления заказами
Транзакции по заказам
Нормализация фактов
Ролевые измерения
Еще раз об измерении "Продукт"
Измерение "Клиент"
Измерение "Сделка"
Вырожденное измерение для номера заказа
Мусорные измерения
Паттерн заголовков/строк, которого следует
избегать
Несколько валют
Факты о транзакциях с разной зернистостью
Еще один паттерн заголовка/строк, которого
следует избегать Операции по выставлению счета
Показатели уровня обслуживания в виде фактов,
измерений или того и другого
Факты о прибылях и убытках
Измерение "Аудит"
Накопление снимков для конвейера выполнения
заказов
Расчет задержек
Несколько единиц измерения
За пределами зеркала заднего вида
Выводы
7 Бухгалтерский учет
Тематическое исследование по бухгалтерскому
учету и матрица шин
Данные Главной бухгалтерской книги
Периодический моментальный снимок
Главной бухгалтерской книги
План счетов
Закрытие периода
Факты типа "С начала года и до сегодняшнего дня"
(year-to-date/YTD)
Пересмотр нескольких валют
Транзакции журнала Главной бухгалтерской книги
Несколько календарей финансового учета
Детализация по многоуровневой иерархии
Финансовые отчеты
Процесс составления бюджета
Иерархии атрибутов измерений
Позиционные иерархии с фиксированной глубиной
Прерывающиеся иерархии переменной глубины
Прерывающиеся иерархии переменной глубины
Совместный доступ при прерывающейся иерархии
Неравномерная иерархия, изменяющаяся во
времени
Изменение прерывающихся иерархий
Альтернативные подходы к моделированию
прерывающейся иерархии
Преимущества подхода с соединительной таблицей
для неравномерных иерархий
Консолидированные таблицы фактов
Роль OLAP и комплексных аналитических решений
Выводы
8 Управление взаимоотношениями с клиентами
Обзор CRM-системы
Операционная и аналитическая CRM
Атрибуты измерения "Клиент"
Синтаксический анализ имени и адреса
Некоторые соображения по поводу
интернационализации имен и адресов
Даты,ориентированные на клиента
Агрегированные факты как атрибуты измерений
Взаимосвязь между интеллектуальным анализом
данных и системой DW/BI
Различные счетчики в измерениях типа 2
Выносное внешнее измерения для атрибутов с
низкой кардинальностью
Соображения об иерархии клиентов
Соединительные таблицы для многозначных
измерений
Соединительные таблицы для разреженных
атрибутов
Соединительная таблица для нескольких
контактов с клиентами
Сложное поведение клиента
Группы по изучению поведения для когорт
Измерение "Шаг" для последовательного
поведения
Таблицы фактов временного интервала
Пометка таблиц фактов показателями
удовлетворенности
Пометка таблиц фактов индикаторами
ненормальных сценариев
Подходы к интеграции клиентских данных
Управление основными данными при создании
единого измерения "Клиент"
Частичная согласованность нескольких измерений
"Клиент"
Избегание соединений таблицы фактов с
таблицами фактов
Проверка реальности с низкими задержками
Выводы
9 Управление персоналом
Отслеживание профиля сотрудников
Точное время вступления в силу и истечения срока
действия
Отслеживание причин изменения параметров
Изменения профиля как атрибуты типа 2 или
события факта
Периодический снимок численности персонала
Матрица шин для HR-процессов
Комплексные аналитические решения и модели
данных
Рекурсивные иерархии сотрудников
Отслеживание изменений на встроенном ключе
менеджера
Детализация иерархий управления: вверх и вниз
Многозначные атрибуты ключевых навыков
сотрудников
Ключевые слова для навыков сотрудников
Текстовая строка для ключевого слова навыка
Данные анкеты-опросника
Текстовые комментарии
Выводы
10 Финансовые услуги
Тематическое исследование банковского дела и
матрица шин
Рассмотрение измерений для исключения
"недостаточного количества измерений"
Измерение "Домохозяйство"
Многозначные измерения и весовые коэффициенты
Пересмотр мини-измерений
Добавление мини-измерений к соединительным
таблицам
Динамическая группировка значений в таблицах
фактов
Схемы супертипов и подтипов для разнородных
продуктов
Супертипы и подтипы банковских продуктов с
общими фактами
Измерения с возможностью быстрой замены
Выводы
11 Телекоммуникации
Тематическое исследование телекоммуникаций и
матрица шин
Общие соображения по рассмотрению и оценке
проекта
Сбалансируйте бизнес-требования и исходные
реалии
Сосредоточьтесь на бизнес-процессах
Зернистость
Единая зернистость фактов
Зернистость измерений и иерархии
Измерение "Дата"
Вырожденные измерения
Суррогатные ключи
Расшифровки и описания в измерениях
Приверженность согласованности
Рекомендации по рассмотрению проекта
Обсуждение эскизного проекта
Изменение существующих структур данных
Измерение "Географическое положение"
Выводы
12 Транспортировка
Тематическое исследование авиакомпаний и
матрица шин для них
Зернистость нескольких таблиц фактов
Объединение сегментов в поездки
Таблицы связанных фактов
Расширения для других отраслей промышленности
Грузоотправитель
Туристические услуги
Объединение коррелированных измерений
Класс обслуживания
Пункты отправки и назначения
Дополнительные соображения о дате и времени
Календари для конкретных стран в качестве
внешних выносных измерений
Дата и время в нескольких часовых поясах
Краткое описание локализации
Выводы
13 Образование
Тематическое исследование университета и
матрица шин
Таблицы фактов накопительных моментальных
снимков
Конвейер кандидатов
Конвейер предложений по исследовательским
грантам
Таблицы фактов без фактов
События приема
Регистрация на курсы
Использование объекта
Посещаемость студентов
Увеличение образовательных аналитических
возможностей
Выводы
14 Здравоохранение
Тематическое исследование здравоохранения и
матрица шин
Выставление счетов и платежей по претензиям
Ролевое измерение "Дата"
Многозначные диагнозы
Супертипы и подтипы для запросов оплаты
Электронные медицинские записи
Измерение "Тип измерения" для разреженных
фактов
Текстовые комментарии произвольной формы
Изображения
Использование инвентаря помещений,
оборудования
Работа с ретроактивными изменениями
Выводы
15 Электронная коммерция
Источники данных для потока кликов
Проблемы с данными из потоков кликов
Размерные модели потока кликов
Измерение "Событие"
Измерение "Сеанс"
Измерение "Направление"
Таблица фактов сеанса потока кликов
Таблица фактов события страницы потока кликов
Измерение "Шаг"
Агрегированные таблицы фактов потока кликов
Google Analytics
Интеграция потока кликов в матрицу шин
интернет-магазина
Прибыльность по всем каналам, включая веб
Выводы
16 Страхование
Изучение предметной области "Страхование"
Цепочка создания стоимости страхования
Проект матрицы шины
Транзакции по страховому полису
Ролевые измерения
Медленно меняющиеся измерения
Мини-измерения для больших или быстро
меняющихся атрибутов
Многозначные атрибуты измерений
Числовые атрибуты как факты или измерения
Вырожденные измерения
Таблицы измерений с низкой кардинальностью
Измерение "Аудит"
Таблица фактов транзакций по полису
Гетерогенные продукты: супертипы и подтипы
Дополнительная стратегия, накапливающая
моментальный снимок
Премиальный периодический страховых взносов
Согласованные измерения
Согласованные факты
Факты о предоплате
Пересмотр гетерогенных супертипов и подтипов
Пересмотр многозначных измерений
Более подробная информация об изучении
страховых случаев
Обновленная матрица страховой шины
Подробная матрица шины реализации
Операции с претензиями
Транзакция в сравнении с мусорным измерением
"Профиль претензии"
Накопительный моментальный снимок для
претензий
Накопление моментальных снимков для сложных
рабочих процессов
Накопительный моментальный снимок во времени
Моментальный снимок вместо периодического
Консолидированный периодический снимок
полисов/претензий
События без фактов, связанные с несчастными
случаями
Типичные ошибки размерного моделирования,
которых следует избегать
Ошибка 10: размещение текстовых атрибутовв
таблице фактов
Ошибка 9: ограничивать подробные дескрипторы
для экономии места
Ошибка 8: разделение иерархий на несколько
измерений
Ошибка 7: игнорировать необходимость
отслеживать изменения измерений
Ошибка 6: решение всех проблем с
производительностью с помощью большего
количества оборудования
Ошибка 5: использование натуральных ключей для
соединения измерений и фактов
Ошибка 4: пренебрежение декларированием и
соблюдением зернистости таблиц фактов.
Ошибка 3: использовать отчет для разработки
размерной модели
Ошибка 2: ожидать, что пользователи будут
запрашивать нормализованные атомарные данные
Ошибка 1: терпеть неудачу при попытке построить
согласованные измерения и факты
Выводы
17 Обзор жизненного цикла хранилища данных по
Кимбаллу
Дорожная карта жизненного цикла
Дорожная карта и верстовые столбы
Мероприятия по запуску жизненного цикла
Планирование и управление
программами/проектами
Определение бизнес-требований
Отслеживание технологии жизненного цикла
Технический архитектурный дизайн
Выбор и установка продукта
Отслеживание данных жизненного цикла
Размерное моделирование
Физический дизайн
Проектирование и разработка ETL
Отслеживание приложений BI жизненного цикла
Спецификация приложения BI
Разработка приложений BI
Мероприятия по завершении жизненного цикла
Развертывание