Elasticsearch для разработчиков. Индексирование, анализ, поиск и агрегирование данных

Об авторе
О научном редакторе
Благодарности
Предисловие
От издательства
О научном редакторе русского издания
Глава 1. Начало работы с Elasticsearch
Введение
Структура главы
Цели
Введение в поиск данных
Что такое Elasticsearch и почему он важен для
поиска и аналитики
Обзор архитектуры и компонентов Elasticsearch
Узел
Кластер
Шарды
Документы
Области применения и варианты использования
Elasticsearch
Поиск данных
Регистрация и анализ данных
Мониторинг производительности приложений
Мониторинг производительности системы
Визуализация данных
Клиенты Elasticsearch и сценарии их использования
Java
PHP
Perl
Python
.NET
Ruby
JavaScript
Заключение
Вопросы
Глава 2. Установка Elasticsearch
Введение
Структура
Цели
Введение в Elasticsearch 8
Повышение производительности индексирования
Повышение производительности поиска
Улучшения межкластерного поиска
Усовершенствования в области безопасности
Усовершенствования в области эксплуатации
Установка Elasticsearch в Linux и macOS
Установка Elasticsearch в Linux
Установка Elasticsearch в macOS
Установка Elasticsearch с помощью пакета Debian
Установка пакета Debian вручную
Установка Elasticsearch с помощью пакета RPM
Установка пакета RPM вручную
Установка Elasticsearch в ОС Windows
Запуск и проверка службы Elasticsearch
Elasticsearch REST API
CAT API
Параметры CAT API
Verbose
Help
Заголовки
Форматы ответов
Сортировка
CAT COUNT API
CAT HEALTH API
CAT INDICES API
CAT MASTER API
CAT NODES API
CAT SHARDS API
API кластеров
API состояния кластера
API статистики кластера
Заключение
Вопросы
Глава 3. Elastic Stack: экосистема Elasticsearch
Введение
Структура
Цели
Обзор компонентов Elastic Stack
Elasticsearch: механизм поиска и аналитики
Logstash: пайплайн обработки данных
Плагины ввода данных Logstash
Плагины фильтрации Logstash
Плагины вывода данных Logstash
Kibana: инструмент визуализации данных
Beats: легковесная отправка данных
Filebeat
Metricbeat
Packetbeat
Winlogbeat
Auditbeat
Heartbeat
Functionbeat
Интеграция компонентов Elastic Stack
Получение логов Apache с помощью Logstash
Заключение
Вопросы
Глава 4. Подготовка данных к индексированию
Введение
Структура
Цели
Важность подготовки данных перед
индексированием
Анализаторы Elasticsearch
Встроенные анализаторы
Стандартный анализатор
Простой анализатор
Анализатор пробелов
Анализатор стоп-слов
Анализатор ключевых слов
Анализатор шаблонов
Языковые анализаторы
Анализатор отпечатков
Пользовательские анализаторы
Токенизаторы Elasticsearch
Словесно-ориентированные токенизаторы
Фильтры токенов
Фильтры символов в Elasticsearch
Фильтр HTML strip
Фильтр сопоставления
Фильтр символов для замены шаблона
Нормализаторы
Заключение
Вопросы
Глава 5. Импорт данных в Elasticsearch
Введение
Структура
Цели
Почему данные важны для бизнеса
Доставка данных
Поглощение данных
Хранение данных
Визуализация данных
Импорт данных в Elasticsearch с помощью Beats
Filebeat
Metricbeat
Packetbeat
Заключение
Вопросы
Глава 6. Управление индексами: создание,
обновление и удаление индексов Elasticsearch
Введение
Структура
Цели
Введение в создание и маппинг индексов
Elasticsearch
Создание индекса без документов
Создание индекса, содержащего документы
Получение маппинга индекса
Создание маппинга
Управление индексами в Elasticsearch
Выполнение операций над индексами Elasticsearch
Закрытие индекса
Удаление индекса
Замораживание индекса
Обновление индекса
Принудительное слияние индекса
Очистка кэша индекса
Сброс индекса на диск
Добавление политики жизненного цикла
API Elasticsearch для работы с индексами
Управление индексами
Настройки индекса
Управление шаблонами индексов Elasticsearch
Создание шаблона индекса
Управление жизненным циклом индекса в
Elasticsearch
Заключение
Вопросы
Глава 7. Возможности поиска: освоение Query DSL и
техник поиска ....
Введение
Структура
Цели
Поиск по URI
Пустой поиск
Поиск по полю
Query DSL
Фильтры и запросы
Запрос
Типы запросов
Полнотекстовый поиск
Запросы на уровне терминов
Сложные запросы
Мультипоиск
API мультипоиска
Шаблоны поиска и мультипоиска
Шаблон поиска
Шаблон мультипоиска
Explain API
Обратная частота документа и частота термина
Profile API
Заключение
Вопросы
Глава 8. Работа с геоданными в Elasticsearch
Введение
Структура
Цели
Введение в геопространственный поиск
Типы геоданных в Elasticsearch
Данные типа геоточка
Создание маппинга
Сохранение геоточек
Данные типа геоформа
Создание маппинга
Сохранение данных геоточки
Геозапросы и фильтры DSL
Запросы георасстояния
Геополигональные запросы
Граничные запросы
Запросы геоформ
Примеры использования
Поиск ресторана
Геоагрегация
Заключение
Вопросы
Глава 9. Анализ данных с помощью агрегаций
Elasticsearch
Введение
Структура
Цели
Введение в агрегацию Elasticsearch
Агрегация бакетов
Агрегация диапазонов
Составная агрегация
Агрегация терминов
Агрегация фильтра
Агрегация фильтров
Агрегация георасстояния
Агрегация метрик
Поиск минимума
Поиск максимума
Вычисление среднего
Вычисление суммы
Подсчет количества значений
Сбор статистики
Сбор расширенной статистики
Вычисление процентилей
Агрегация матриц
Сбор матричной статистики
Агрегация пайплайнов
Вычисление среднего значения по бакетам
Вычисление максимального значения по бакетам
Вычисление суммы значений по бакетам
Заключение
Вопросы
Глава 10. Настройка производительности
Введение
Структура
Цели
Стратегии оптимизации производительности
Elasticsearch Оптимизация Elasticsearch для работы с
большими
объемами данных
Настройка скорости индексирования Elasticsearch
Массовые запросы вместо одного
Разумное использование кластера Elasticsearch
Увеличение интервала обновления
Отключение репликации
Использование автоматически генерируемых
идентификаторов
Настройка размера буфера индексирования
Использование более быстрого оборудования
Выделение памяти для кэша файловой системы
Настройка скорости поиска в Elasticsearch
Моделирование документов
Поиск по меньшему количеству полей
Предварительное индексирование данных
Маппинг идентификаторов в качестве ключевых
слов
Принудительное слияние индексов, доступных
только
для чтения
Использование фильтра вместо запроса
Увеличение количества реплик
Извлечение только необходимых полей
Использование более быстрого оборудования
Выделение памяти для кэша файловой системы
Отказ от стоп-слов при поиске
Отказ от скриптовых запросов
Настройка Elasticsearch для использования диска
Сжатие индекса
Принудительное слияние
Отключение необязательных функций
Оптимизация типов числовых полей
Лучшие практики Elasticsearch
Явное определение маппинга индексов Elasticsearch
Оптимизация производительности кластера
Elasticsearch
Как избежать проблемы split-brain
Включение лога медленных запросов
Заключение
Вопросы
Глава 11. Администрирование: управление
кластерами Elasticsearch
Введение
Структура
Цели
Безопасность Elasticsearch
Настройка TLS
Пароли кластера Elasticsearch
Настройка доступа на основе ролей с помощью
Kibana
Псевдонимы индекса
Создание репозитория и снапшота
Создание репозитория
Создание снапшота
Восстановление из снапшота
Общая схема Elastic
Зачем нужна общая схема?
Введение в схему ECS
Общие рекомендации ECS
Рекомендации по именованию полей ECS
Начало работы с ECS
Масштабирование кластера Elasticsearch
Вертикальное масштабирование
Горизонтальное масштабирование
Мониторинг Elasticsearch
Заключение
Вопросы