Доверительное А/В-тестирование. Практическое руководство по контролируемым экспериментам

Отзывы рецензентов о книге
Предисловие от издательства
Вступление
Предисловие
Благодарности
ЧАСТЬ I. ВВЕДЕНИЕ ДЛЯ ВСЕХ
Глава 1. Введение и мотивация
1.1. Терминология контролируемых онлайн-
экспериментов
1.2. Зачем нужны эксперименты? Корреляции,
причинно-следственная связь и доверительность
1.3. Необходимые ингредиенты для проведения
эффективных контролируемых экспериментов
1.4. Постулаты
1.5. Постепенные улучшения
1.6. Примеры интересных контролируемых
онлайн-экспериментов
1.7. Стратегия, тактика и их связь с
экспериментами
1.8. Дополнительное чтение
Глава 2. Проведение и анализ экспериментов.
Пример полного цикла
2.1. Условия демонстрационного эксперимента
2.2. Проверка гипотез: установление
статистической значимости
2.3. Разработка эксперимента
2.4. Проведение эксперимента и сбор данных
2.5. Интерпретация результатов
2.6. От результатов к решениям
Глава 3. Закон Тваймана и надежность
экспериментов
3.1. Неправильная интерпретация статистических
результатов
3.1.1. Нехватка статистической мощности
3.1.2. Неправильная интерпретация р-значений
3.1.3. Отслеживание р-значений
3.1.4. Множественные проверки гипотез
3.2. Доверительные интервалы
3.3. Угрозы внутренней достоверности
3.3.1. Нарушения правила SUTVA
3.2.2. Ошибка выжившего
3.2.3. Вынужденное воздействие
3.2.4. Несоответствие коэффициента выборки
3.4. Угрозы внешней достоверности
3.4.1. Эффекты первичности
3.4.2. Эффекты новизны
3.4.3. Выявление эффектов первичности и новизны
3.5. Разделение по сегментам
3.5.1. Сегментированное представление
показателя
3.5.2. Сегментированное представление эффекта
(гетерогенность эффекта)
3.5.3. Анализ эффекта по сегментам, вводящий в
заблуждение
3.6. Парадокс Симпсона
3.7. Поощряйте здоровый скептицизм
Глава 4. Платформы и культура экспериментов
4.1. Модели зрелости экспериментов
4.1.1. Лидерство
4.1.2. Процесс
4.1.3. Разработать самим или купить готовый
продукт?
4.2. Инфраструктура и инструменты
4.2.1. Разработка, настройка и управление
экспериментом
4.2.2. Развертывание эксперимента
4.2.3. Инструменты для экспериментов
4.2.4. Масштабирование экспериментов: тонкости
назначения вариантов
4.2.5. Параллельные эксперименты
4.2.6. Анализ экспериментов
ЧАСТЬ II. ИЗБРАННЫЕ ТЕМЫ ДЛЯ ВСЕХ
Глава 5. Скорость имеет значение!
5.1. Ключевое предположение: локальная
линейная аппроксимация
5.2. Как измерить быстродействие веб-сайта
5.3. Схема эксперимента по замедлению
5.4. Влияние различных элементов страницы
5.5. Экстремальные результаты
Глава 6. Организационные показатели
6.1. Таксономия показателей
6.2. Выработка показателей: принципы и методы
6.3. Оценка показателей
6.4. Развивающиеся показатели
6.5. Дополнительное чтение
6.6. Примечание: ограничительные показатели
6.7. Примечание: преднамеренная манипуляция
показателями
Глава 7. Показатели экспериментов и общий
критерий оценки
7.1. От бизнес-показателей к показателям,
подходящим
для экспериментов
7.2. Объединение ключевых показателей в OEC
7.3. Пример: OEC для электронной почты на
Amazon
7.4. Пример: OEC для поисковой системы Bing
7.5. Закон Гудхарта, закон Кэмпбелла и замечание
Лукаса
Глава 8. Институциональная память и метаанализ
8.1. Что такое институциональная память?
8.2. Почему полезна институциональная память?
Глава 9. Этика контролируемых экспериментов
9.1. Что лежит в основе этики
9.1.1. Риски
9.1.2. Преимущества и выгоды
9.1.3. Возможность выбора
9.2. Сбор данных
9.3. Культура и процессы
9.4. Примечание: идентификация пользователей
ЧАСТЬ III. ДОПОЛНИТЕЛЬНЫЕ И АЛЬТЕРНАТИВНЫЕ
МЕТОДЫ КОНТРОЛИРУЕМЫХ ЭКСПЕРИМЕНТОВ
Глава 10. Дополнительные методы
10.1. Пространство дополнительных методов
10.2. Анализ на основе журналов
10.3. Экспертная оценка
10.4. Исследование пользовательского опыта
10.5. Фокус-группы
10.6. Обзоры
10.7. Внешние данные
10.8. Подведем итог главы
Глава 11. Наблюдательные исследования
причинно-следственных связей
11.1. Когда контролируемые эксперименты
невозможны
11.2. Планы для наблюдательных исследований
причинно-следственных связей
11.2.1. Прерывистый временной ряд
11.2.2. Эксперименты с чередованием
11.2.3. Метод разрывной регрессии
11.2.4. Инструментальные переменные и
естественные эксперименты
11.2.5. Отбор подобного по склонности
11.2.6. Дифференциальная разница
11.3. Ловушки причинно-следственных связей
11.4. Приложение: опровергнутые исследования
причинно-следственных связей
ЧАСТЬ IV. ПЛАТФОРМЫ ДЛЯ ЭКСПЕРИМЕНТОВ:
УГЛУБЛЕННОЕ ИЗУЧЕНИЕ
Глава 12. Эксперименты на стороне клиента
12.1. Различия между серверной и клиентской
стороной
12.1.1. Отличие №1: процесс выпуска
12.1.2. Отличие №2: обмен данными между
клиентом и сервером
12.2. Следствия из компромиссов
12.3. Выводы
Глава 13. Инструментарий экспериментов
13.1. Инструменты на стороне клиента и сервера
13.2. Обработка журналов из нескольких
источников
13.3. Культура измерений
Глава 14. Выбор единицы рандомизации
14.1. Единица рандомизации и единица анализа
14.1 Рандомизация на уровне пользователя
Глава 15. Развитие эксперимента: компромисс
между скоростью, качеством и риском
15.1. Что такое рампинг?
15.2. Шаблон SOR для рампинга
15.3. Четыре фазы рампинга
15.3.1. Первая фаза рампинга: до MPR
15.3.2. Вторая фаза рампинга: MPR
15.3.3. Третья фаза рампинга: пост-MPR
15.3.4. Четвертая фаза рампинга: длительное
удержание или репликация
15.4. Что после рампинга?
Глава 16. Анализ масштабных экспериментов
16.1. Подготовка данных
16.2. Вычисление данных
16.3. Формирование сводки и визуализация
результатов
ЧАСТЬ V. РАЗВЕРНУТОЕ ОПИСАНИЕ АНАЛИЗА
ЭКСПЕРИМЕНТОВ
Глава 17. Статистика контролируемых онлайн-
экспериментов..
17.1. Двухвыборочный t-тест
17.2 p-значение и доверительный интервал
17.3. Предположение о нормальности
17.4. Ошибки типа I/II и статистическая мощность
17.5. Смещение
17.6. Множественное тестирование
17.7. Метаанализ Фишера
Глава 18. Оценка дисперсии и повышение
чувствительности: подводные камни и решения
18.1. Распространенные ошибки
18.1.1. Дельта или процентная дельта?
18.1.2. Показатели отношения: когда уровень
анализа отличается от уровня эксперимента
18.1.3. Выбросы
18.2. Повышение чувствительности
18.3. Дисперсия других статистических данных
Глава 19. A/A-тестирование
19.1. Почему нужны A/A-тесты?
19.1.1. Пример 1: уровень анализа отличается от
уровня рандомизации
19.1.2. Пример 2: поощрение остановки
эксперимента
при достижении статистической значимости
19.1.3. Пример 3: переадресация браузера
19.1.4. Пример 4: неравное распределение по
группам
19.1.5. Пример 5: различия в оборудовании
19.2. Как проводить A/A тесты
19.3. Когда A/A-тест не подходит
Глава 20. Включение по условию для повышения
чувствительности
20.1. Примеры включения по условию
20.1.1. Пример 1: преднамеренно частичное
воздействие
20.1.2. Пример 2: условное воздействие
20.1.3. Пример 3: Увеличение охвата
20.1.4. Пример 4: изменение покрытия
20.1.5. Пример 5: контрфактическое включение
для моделей
машинного обучения
20.2. Числовой пример
20.3. Оптимальное и консервативное включение
20.4. Общий эффект воздействия
20.5. Достоверность включения
20.6. Распространенные ошибки
20.7. Открытые вопросы
Глава 21. Несоответствие коэффициента выборки
и другие ограничительные показатели
21.1. Несоответствие коэффициента выборки
(SRM)
21.2. Причины возникновения SRM
21.3. Устранение SRM
21.4. Другие ограничительные показатели,
связанные с доверием
Глава 22. Утечка и интерференция между
вариантами
22.1. Примеры
22.2. Некоторые практические решения
22.2.1. Полезное правило: ценность действия в
экосистеме
22.2.2. Изоляция
22.2.3. Анализ на уровне ребер графа
22.2.4. Обнаружение и мониторинг взаимовлияния
Глава 23. Измерение долгосрочных эффектов
23.1. Что такое долгосрочные эффекты?
23.2. Причины, по которым могут различаться
краткосрочные и долгосрочные эффекты
23.4. Зачем измерять долгосрочные эффекты?
23.5. Длительные эксперименты
23.6. Альтернативные методы для длительных
экспериментов
23.6.1. Метод №1: когортный анализ
23.6.2. Метод № 2: постпериодный анализ
23.6.3. Метод №3: воздействие с интервалом во
времени
23.6.4. Метод №4: сдерживание и обратный
эксперимент
Предметный указатель