Осваиваем архитектуру Transformer. Разработка современных моделей с помощью передовых методов

Об авторах
О рецензенте
Предисловие
Для кого эта книга
Какие темы охватывает эта книга
Как получить максимальную отдачу от этой книги
Скачивание исходного кода примеров
Видеоролики Code in Action
Условные обозначения и соглашения, принятые в
книге
Список опечаток
Нарушение авторских прав
ЧАСТЬ I. ПОСЛЕДНИЕ РАЗРАБОТКИ В ОБЛАСТИ NLP,
ПОДГОТОВКА РАБОЧЕЙ СРЕДЫ И ПРИЛОЖЕНИЕ
HELLO WORLD
Глава 1. От последовательности слов к
трансформерам
Технические требования
Эволюция подходов NLP в направлении
трансформеров
Что такое дистрибутивная семантика?
Использование глубокого обучения
Обзор архитектуры трансформеров
Трансформеры и перенос обучения
Заключение
Дополнительная литература
Глава 2. Знакомство с трансформерами на практике
Технические требования
Установка библиотеки Transformer с Anaconda
Работа с языковыми моделями и токенизаторами
Работа с моделями, предоставленными
сообществом
Сравнительное тестирование и наборы данных
Тестирование быстродействия и использования
памяти
Заключение
ЧАСТЬ II. МОДЕЛИ-ТРАНСФОРМЕРЫ - ОТ
АВТОЭНКОДЕРОВ К АВТОРЕГРЕССИИ
Глава 3. Языковые модели на основе
автоэнкодеров
Технические требования
BERT - одна из языковых моделей
на основе автоэнкодера
Обучение автоэнкодерной языковой модели
для любого языка
Как поделиться моделями с сообществом
Обзор других моделей с автоэнкодером
Использование алгоритмов токенизации
Заключение
Глава 4. Авторегрессивные и другие языковые
модели
Технические требования
Работа с языковыми моделями AR
Работа с моделями Seq2Seq
Обучение авторегрессивной языковой модели
Генерация текста с использованием
авторегрессивных моделей
Тонкая настройка резюмирования и машинного
перевода с помощью simpletransformers
Заключение
Дополнительная литература
Глава 5. Тонкая настройка языковых моделей
для классификации текста
Технические требования
Введение в классификацию текста
Тонкая настройка модели BERT для двоичной
классификации с одним предложением
Обучение модели классификации с помощью
PyTorch
Тонкая настройка BERT для многоклассовой
классификации с пользовательскими наборами
данных
Тонкая настройка BERT для регрессии пар
предложений
Использование run_glue.py для тонкой настройки
моделей
Заключение
Глава 6. Тонкая настройка языковых моделей
для классификации токенов
Технические требования
Введение в классификацию токенов
Тонкая настройка языковых моделей для NER
Ответы на вопросы с использованием
классификации токенов
Заключение
Глава 7. Представление текста
Технические требования
Введение в представление предложений
Эксперимент по выявлению семантического
сходства с FLAIR
Кластеризация текста с помощью Sentence-BERT
Семантический поиск с помощью Sentence-BERT
Заключение
Дополнительная литература
ЧАСТЬ III. ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ
Глава 8. Работа с эффективными трансформерами
Технические требования
Обзор эффективных, легких и быстрых
трансформеров
Способы уменьшения размера модели
Работа с эффективным самовниманием
Заключение
Дополнительная литература
Глава 9. Многоязычные и кросс-языковые модели
Технические требования
Моделирование языка перевода и обмен знаниями
между языками
XLM и mBERT
Задачи выявления кросс-языкового сходства
Кросс-языковая классификация
Кросс-языковое обучение без подготовки
Фундаментальные ограничения многоязычных
моделей
Заключение
Дополнительная литература
Глава 10. Трансформерная модель
как самостоятельная служба
Технические требования
Запуск службы трансформерной модели с fastAPI
Докеризация API
Создание службы модели с использованием TFX
Нагрузочное тестирование службы с помощью
Locust
Заключение
Дополнительные источники информации
Глава 11. Визуализация внимания и отслеживание
экспериментов
Технические требования
Интерпретация механизма внимания
Многоуровневая визуализация потоков внимания
с помощью BertViz
Заключение
Дополнительная литература
Предметный указатель