Обработка естественного языка в действии

Предисловие
Благодарности
Введение
Об авторах
Иллюстрация на обложке
Часть I. Обработка слов: векторные модели
естественного языка
Глава 1. Модели, которые читают и пишут тексты:
знакомство с технологией NLP
1.1. Языки программирования и NLP
1.1.1. Понимание естественного языка
1.1.2. Генерация естественного языка
1.1.3. Объединение всех компонентов ИИ для
достижения
положительного эффекта
1.2. Волшебство естественного языка
1.2.1. Язык и мышление
1.2.2. Машины, которые общаются
1.2.3. Математика
1.3. Практическое применение
1.3.1. Обработка языков программирования с
помощью NLP
1.4. Язык глазами компьютера
1.4.1. Язык замков
1.4.2. Регулярные выражения
1.5. Создание простого чат-бота
1.5.1. Распознавание приветствий с помощью
ключевых слов
1.5.2. Распознавание намерений с
использованием регулярных выражений
1.5.3. Другой способ распознавания
приветствий
1.6. Краткая экскурсия по гиперпространству
1.7. Порядок слов и грамматика
1.8. Конвейер чат-бота на естественном языке
1.9. Углубленная обработка
1.10. IQ естественного языка
1.11. Проверьте себя
Резюме
Глава 2. Знаки мысли: слова естественного языка
2.1. Токены и токенизация
2.1.1. Набор инструментов для создания
токенизатора
2.1.2. Простейший токенизатор
2.1.3. Токенизация на основе правил
2.1.4. SpaCy
2.1.5. Поиск самого быстрого токенизатора слов
2.2. За пределами токенов
2.2.1. Токенизаторы WordPiece
2.3. Улучшение словаря
2.3.1. Расширяем словарь n-граммами
2.3.2. Нормализация словаря
2.4. Сложные токены: обработка
логографических языков
2.4.1. Сложности лемматизации и стемминга в
китайском языке
2.5. Векторы токенов
2.5.1. Унитарные векторы
2.5.2. Векторы в форме "мешка слов"
2.5.3. Почему не используются векторы в форме
"мешка символов"
2.6. Тональность
2.6.1. VADER - анализатор тональности на
основе правил
2.6.2. Наивный байесовский классификатор
2.7. Проверьте себя
Резюме
Глава 3. Арифметика слов: векторы TF-IDF
3.1. Мультимножество слов
3.2. Векторизация текста с помощью
конструктора DataFrame
3.2.1. Подсчет токенов быстрее, удобнее,
проще
3.2.2. Векторизация кода
3.2.3. Векторное пространство TF-IDF
3.3. Расстояние между векторами и сходство
векторов
3.3.1. Скалярное произведение
3.4. Подсчет частот TF-IDF
3.4.1. Анализ пакета this
3.5. Закон Ципфа
3.6. Обратная частота документа (IDF)
3.6.1. Возвращаемся к закону Ципфа
3.6.2. Ранжирование по релевантности
3.6.3. Математика сглаживания
3.7. Использование оценок TF-IDF в чат-боте
3.8. Что дальше
3.9. Проверьте себя
Резюме
Глава 4. Поиск смысла слов по их частоте:
семантический анализ
4.1. От частот слов до оценок тем
4.1.1. Ограничения векторов TF-IDF и
лемматизации
4.1.2. Векторы тем
4.1.3. Мысленный эксперимент
4.1.4. Алгоритм оценки тем
4.2. Задача обнаружения
недоброжелательности
4.2.1. Классификатор на основе линейного
дискриминантного анализа
4.2.2. За пределами линейности
4.3. Понижение размерности
4.3.1. Введение в метод главных компонент
4.3.2. Сингулярное разложение
4.4. Латентный семантический анализ
4.4.1. Погружение в семантический анализ
4.4.2. TruncatedSVD или PCA?
4.4.3. Насколько эффективен метод LSA для
выявления недоброжелательных
комментариев?
4.4.4. Другие способы понижения размерности
4.5. Латентное размещение Дирихле
4.5.1. Основная идея LDiA
4.5.2. Тематическая модель LDiA для
комментариев
4.5.3. Определение недоброжелательности с
помощью LDiA
4.6. Расстояние и сходство
4.7. Стиринг и обратная связь
4.8. Мощь векторов тем
4.8.1. Семантический поиск
4.9. Добавление в бот поддержки
семантического поиска
4.10. Проверьте себя
Резюме
Часть II. Более глубокое обучение: нейронные сети
Глава 5. Словесный мозг: нейронные сети
5.1. Зачем нужны нейронные сети
5.1.1. Нейронные сети для обработки слов
5.1.2. Нейроны как механизмы конструирования
признаков
5.1.3. Биологические нейроны
5.1.4. Перцептрон
5.1.5. Перцептрон на Python
5.2. Пример логистического нейрона
5.2.1. Логика обработки кликбейтных
заголовков
5.2.2. Половое воспитание
5.2.3. Логика определения пола
5.2.4. Новый изящный нейрон PyTorch
5.3. Спуск по склону ошибок
5.3.1. Спрыгиваем с подъемника на склон:
градиентный спуск и локальные
минимумы
5.3.2. Встряхивание: стохастический
градиентный спуск
5.4. Проверьте себя
Резюме
Глава 6. Умозаключения на основе векторных
представлений слов
6.1. Это твой мозг под действием слов
6.2. Практическое применение
6.2.1. Поиск смысла
6.2.2. Объединение векторных представлений
слов
6.2.3. Вопросы на нахождение аналогии
6.2.4. Инновации Word2Vec
6.2.5. Искусственный интеллект опирается на
векторные представления
6.3. Word2Vec
6.3.1. Рассуждения по аналогии
6.3.2. Обучение векторным представлениям
слов
6.3.3. Обучение значениям слов без словаря
6.3.4. Использование модуля gensim.word2vec
6.3.5. Как сгенерировать векторные
представления слов
6.4. Альтернативы моделям Word2Vec
6.4.1. GloVe
6.4.2. FastText
6.4.3. Word2Vec по сравнению с LSA
6.4.4. Статические и контекстуальные
векторные представления
6.4.5. Визуализация связей между словами
6.4.6. Установление связей
6.4.7. Искусственные слова
6.5. Проверьте себя
Резюме
Глава 7. Поиск крупиц знаний в тексте с помощью
CNN
7.1. Закономерности в последовательностях
слов
7.2. Свертка
7.2.1. Трафареты для текста на естественном
языке
7.2.2. Еще немного о трафаретах
7.2.3. Корреляция и свертка
7.2.4. Свертка как функция преобразования
7.2.5. Пример свертки на Python
7.2.6. Одномерная CNN для анализа
четырехмерных векторных представлений
7.2.7. Примеры из природы
7.3. Азбука Морзе
7.3.1. Декодирование морзянки с помощью
свертки
7.4. Создание сверточной нейронной сети с
помощью PyTorch
7.4.1. Обрезка и дополнение
7.4.2. Применение векторных представлений
слов
7.4.3. Перенос обучения
7.4.4. Повышение устойчивости CNN с помощью
прореживания
7.5. PyTorch CNN для обработки постов о
чрезвычайных ситуациях
7.5.1. Архитектура сети
7.5.2. Субдискретизация
7.5.3. Линейные слои
7.5.4. Подготовка к обучению
7.5.5. Настройка гиперпараметров
7.6. Проверьте себя
Резюме
Глава 8. Сокращение, повторное использование и
переработка слов: RNN и LSTM
8.1. Где можно использовать RNN
8.1.1. Обработка последовательностей в RNN
8.1.2. Рекуррентные сети запоминают все, что
получают на входе
8.1.3. RNN скрывают свое понимание
8.1.4. Рекуррентные сети запоминают все, что
вы им говорите
8.2. Определение национальности по фамилии
8.2.1. Создание RNN с нуля
8.2.2. Обучение RNN по одному токену за раз
8.2.3. Анализ результатов
8.2.4. Многоклассовая классификация и
маркировка несколькими метками
8.3. Обратное распространение ошибки во
времени
8.3.1. Инициализация скрытого слоя в RNN
8.4. Запоминание в рекуррентных сетях
8.4.1. Модели языка на уровне слов
8.4.2. Управляемый рекуррентный блок
8.4.3. Долгая краткосрочная память
8.5. Прогнозирование
8.6. Проверьте себя
Резюме
Часть III. Поговорим серьезно: реальные задачи
NLP
Глава 9. Наращиваемое глубокое обучение:
трансформеры
9.1. Рекурсия и рекуррентность
9.1.1. Внимание - это не все, что вам нужно
9.1.2. Набор LEGO для изучения языка
9.2. Заполнение пробелов во внимании
9.2.1. Позиционное кодирование
9.2.2. Соединение всех частей
9.2.3. Трансформер-переводчик
9.3. Двунаправленное обратное
распространение ошибки и BERT
9.3.1. Токенизация и предварительное обучение
9.3.2. Тонкая настройка
9.3.3. Реализация
9.3.4. Тонкая настройка предварительно
обученной модели BERT
для классификации текста
9.4. Проверьте себя
Резюме
Глава 10. Большие языковые модели в реальном
мире
10.1. Большие языковые модели
10.1.1. Масштабирование
10.1.2. Более умные и меньшие по размеру LLM
10.1.3. Семантическая маршрутизация и
защитные механизмы
10.1.4. Тестирование моделей на безопасность и
устойчивость
10.2. Генерирование слов с помощью своей LLM
10.2.1. Создание своей генеративной модели LLM
10.2.2. Тонкая настройка генеративной модели
10.2.3. Бессмыслица - галлюцинация
10.3. Повышение IQ модели с помощью поиска
10.3.1. Поиск слов - полнотекстовый поиск
10.3.2. Поиск смысла - семантический поиск
10.3.3. Масштабирование семантического поиска
10.3.4. Поиск приблизительного ближайшего
соседа
10.3.5. Выбор индекса
10.3.6. Квантование
10.3.7. Собираем все воедино с помощью
Haystack
10.3.8. Воплощаем замысел в реальность
10.3.9. Haystack - хранилище знаний
10.3.10. Ответы на вопросы
10.3.11. Сочетание семантического поиска с
генерированием текста
10.3.12. Развертывание приложения в облаке
10.3.13. Лучше обслуживайте своих
пользователей
10.3.14. Этика и безопасность ИИ
10.4. Проверьте себя
Резюме
Глава 11. Извлечение информации и графы знаний
11.1. Заземление
11.1.1. Старомодный подход - извлечение
информации с помощью паттернов
11.2. Первый шаг: разделение текста на
предложения
11.2.1. Почему split('.!?') не работает?
11.2.2. Сегментация предложений с помощью
регулярных выражений
11.2.3. Семантика предложений
11.3. Конвейер извлечения знаний
11.4. Распознавание сущностей
11.4.1. Распознавание объектов с помощью
регулярных выражений: извлечение
координат GPS
11.4.2. Распознавание поименованных сущностей
с помощью spaCy
11.5. Разрешение кореференций
11.5.1. Разрешение кореференций с помощью
spaCy
11.5.2. Нормализация имен сущностей
11.6. Анализ зависимостей
11.6.1. Анализ грамматики составляющих с
помощью benepar
11.7. От анализа зависимостей к извлечению
отношений
11.7.1. Извлечение отношений с помощью
паттернов
11.7.2. Извлечение отношений с помощью
нейронных сетей
11.8. Создание базы знаний
11.8.1. Большой граф знаний
11.9. Поиск ответов в графе знаний
11.9.1. От вопросов к запросам
11.10. Проверьте себя
Резюме
Глава 12. Начинаем общаться: диалоговые системы
12.1. Чат-боты повсюду
12.1.1. Чат-боты разные, а инструменты одни и
те же
12.1.2. Проектирование диалогов
12.1.3. Первое дерево диалогов
12.1.4. Критерии хорошего диалога
12.1.5. Как сделать чат-бот хорошим
слушателем: неявные
и явные подтверждения
12.1.6. Использование элементов графического
интерфейса
12.2. Поиск смысла во вводе пользователя:
понимание естественного языка
12.2.1. Распознавание намерений
12.2.2. Многозначная классификация
12.3. Генерирование ответа
12.3.1. Подход на основе шаблонов
12.3.2. Графы диалогов
12.3.3. Хранение графа в реляционной базе
данных
12.3.4. Масштабирование контента: подход на
основе поиска
12.3.5. Проектирование сложной логики:
программный подход
12.4. Генеративный подход
12.5. Фреймворки чат-ботов
12.5.1. Создание чат-бота на основе намерений с
помощью Rasa
12.5.2. Добавление LLM в чат-бот с помощью
LangChain
12.6. Сопровождение чат-бота
12.7. Оценка чат-бота
12.7.1. Выбор оценок эффективности чат-бота
12.7.2. Оценка качества NLU
12.7.3. Оценка пользовательского опыта
12.7.4. Что дальше?
12.8. Проверьте себя
Резюме
Приложения
Приложение А. Инструменты NLP
A.1. Установка nlpia2 в виртуальной среде
A.2. Батарейки в комплекте
A.3. Anaconda3
A.4. Установка пакета nlpia2
A.5. Интегрированная среда разработки
A.6. Система управления пакетами Debian
А.7. Mac
A.8. Настройки
A. 9. Windows
Приложение Б. Эксперименты с Python и
регулярные выражения
Б.1. Среда для экспериментов
Б.2. Работа со строковыми значениями
Б.3. Ассоциативные массивы в Python: dict и
OrderedDict
Б.4. Регулярные выражения
Б.5. Стиль
Б.6. Овладейте в совершенстве
Приложение В. Векторы и линейная алгебра
B. 1. Векторы
В.2. Матрицы
В.3. Тензоры
В.4. Углубляемся в линейную алгебру
Приложение Г. Инструменты и методы машинного
обучения
Г.1. Смена парадигмы
Г.2. Насколько хорошо должна быть подогнана
модель
Г.3. Оптимизация модели
Г.4. Оценка модели и меры качества
Г.5. Советы профессионалов
Приложение Д. Развертывание контейнерных
микросервисов NLU
Д.1. Многозначный классификатор намерений
Д.2. Постановка задачи и обучающие данные
Д.3. Архитектура микросервисов
Д.4. Запуск и тестирование микросервиса
прогнозирования
Приложение Е. Глоссарий
Е.1. Акронимы
Е.2. Терминология