CUDA Fortran для инженеров и научных работников. Рекомендации по эффективному программированию

Благодарности,
Предисловие
ЧАСТЬ I
Программирование на CUDA Fortran,
Глава 1. Введение,
1.1. Краткая история вычислений на GPU
1.2. Параллельные вычисления
1.3. Основные идеи
1.3.1. Первая программа на CUDA Fortran
1.3.2. Обобщение набольшие массивы
1.3.3. Многомерные массивы
1.4. Определение возможностей и ограничений
оборудования с поддержкой CUDA
1.5. Обработка ошибок
1.6. Компиляция программы на CUDA Fortran
1.6.1. Раздельная компиляция
Глава 2. Измерение производительности
и метрики производительности
2.1.Измерение времени выполнения ядра
2.1.1. Синхронизация хоста и устройства и
таймеры CPU
2.1.2. Хронометраже помощью событий CUDA
2.1.3. Командный профилировщик
2.1.4. Профилировщик nvprof
2.2.Ядра, производительность которых,
ограничена
вычислениями, пропускной способностью памяти
и задержкой
2.3.Пропускная способность памяти
2.3.1. Теоретически максимальная пропускная
способность
2.3.2. Эффективная пропускная способность
Глава 3. Оптимизация
3.1.Передача данных между хостом и устройством
3.1.1. Зафиксированная область памяти
3.1.2. Объединение мелких операций передачи в
один пакет
3.1.3. Асинхронная передача данных
(дополнительная тема)
3.2.Память устройства
3.2.1. Объявление данных в коде, выполняемом
на устройстве
3.2.2. Объединенный доступ к глобальной памяти
3.2.3. Текстурная память
3.2.4. Локальная память
3.2.5. Константная память
3.3.Внутрикристалльная память
3.3.1. U-кэш
3.3.2. Регистры
3.3.3. Разделяемая память
3.4.Пример оптимизации работы с памятью:
транспонирование матрицы
3.4.1. Недогрузка разделов (дополнительная
тема)
3.5.Конфигурация выполнения
3.5.1. Параллелизм на уровне потоков
3.5.2. Параллелизм на уровне команд
3.6.Оптимизация команд
3.6.1. Встроенные функции устройства
3.6.2. Флаги компилятора
3.6.3. Расходящиеся варпы
3.7.Директивы генерации ядра из цикла
3.7.1. Редукция в CUF-ядрах
3.7.2. Потоки CUDA в CUF-ядрах
3.7.3. Параллелизм на уровне команд в CUF-ядрах
Глава 4. Программирование компьютера
с несколькими GPU
4.1. Средства СШАдля работы с несколькими GPU
4.1.1. Связь между равноправными устройствами
4.1.2. Прямая передача данных между
равноправными устройствами
4.1.3. Транспонирование матрицы с применением
равноправного доступа
4.2. Программирование нескольких GPU с
применением
библиотеки MPI
4.2.1. Сопоставление устройств рангам MPI
4.2.2. Транспонирование матрицы с применением
MPI
4.2.3. Транспонирование матрицы с применением
MPI. поддерживающей GPU
ЧАСТЬ II
Примеры задач
Глава 5. Метод Монте-Карло
5.1. Библиотека CURAND
5.2. Вычисление я с помощью CUF-ядер
5.2.1. Стандарт IEEE-754 (дополнительная тема)
5.3.Вычисление я с помощью ядер редукции
5.3.1. Редукция с атомарными блокировками
(дополнительная тема)
5.4. Точность суммирования
5.5. Опционное ценообразование
Глава 6. Метод конечных разностей
6.1. Девятиточечный шаблон конечно-разностной
схемы
для вычисления первой производной
6.1.1. Повторное использование данных и
разделяемая память
6.1.2. Ядро производной пох
6.1.3. Производные по у и z
6.1.4.Неравномерные сетки
6.2. Двумерное уравнение Лапласа
Глава 7. Приложения быстрого преобразования
Фурье
7.1. Библиотека CUFFT
7.2. Спектральное дифференцирование
7.3. Свертка
7.4. Решение уравнения Пуассона
ЧАСТЬ III
Приложение
Приложение А. Технические характеристики
Tesla
Приложение В. Управление системой
и окружением
В.1. Переменные окружения
В. 1.1. Общие переменные окружения
В. 1.2. Командный профилировщик
В. 1.3. ЛТ-компиляция
В.2. Интерфейс управления системой nvidia-smi
8.2.1. Включение и выключение режима ЕСС
8.2.2. Режим вычислений
8.2.3. Инерционный режим
Приложение С. Вызов CUDA С из CUDA Fortran
С.1. Вызовы библиотеки, написанной на CUDA С
С.2. Вызов написанной пользователем функции на
CUDA С
Приложение D. Исходный код
D. 1. Текстурная память
D.2. Транспонирование матрицы
D.3. Параллелизм на уровне потоков и команд
D.4. Программирование с использованием
нескольких GPU
D.4.1. Транспонирование с применением
равноправного
доступа к памяти
D.4.2. Транспонирование с применением
библиотеки MPI
для передачи данных между хостами
D.4.3. Транспонирование с применением
библиотеки MPI
для передачи данных между устройствами
D.5. Программирование метода конечных
разностей
D.6. Решение уравнения Пуассона спектральным
методом
Литература
Предметный указатель