About this course: Потребность решения сложных прикладных задач с большим объемом вычислений и принципиальная ограниченность максимального быстродействия «классических» – по схеме фон Неймана – ЭВМ привели к появлению многопроцессорных вычислительных систем (МВС) или суперкомпьютеров. Широкое распространение параллельные вычисления приобрели с переходом компьютерной индустрии на массовый выпуск многоядерных процессоров с векторными расширениями. В настоящие время практически все устройства – от карманных гаджетов и до самых мощных суперкомпьютеров – оснащены многоядерными процессорами. И если вы пишите последовательную программу, не применив распределение работы между разными ядрами центрального процессора и не проведя векторизацию, то вы используете только часть вычислительных возможностей центрального процессора. Пройдя этот курс, вы познакомитесь с основными архитектурами МВС, с двумя стандартами (OpenMP и MPI), позволяющими писать параллельные программы для систем с общей и распределенной памятью. На простых примерах будут разобраны основные конструкции и способы распределения работы. Выполнение практических заданий позволит вам приобрести практические навыки создания параллельных программ. Курс будет интересен всем, кто занимается программированием. Для участия в курсе слушателю необходимо иметь базовые знания по программированию с использованием С/С++. Курс состоит из 9 недель. Каждая неделя курса содержит видеолекции, а также проверочные задания. Сертификат получают слушатели, набравшие более 80 % от максимально возможного количества баллов. При этом итоговый результат, представленный как 100 %, складывается из следующих составляющих: тесты 1–5 недели дают 4 %, тесты 6–9 недели дают 5 %, все практические задания дают 10 %, кроме итогового практического задания по OpenMP, которое дает 20 %.
Created by: National Research Tomsk State University
Taught by: Николай Николаевич Богословский (Nikolay N. Bogoslovskiy), Кандидат физико-математических наук, доцент (Сandidate of Physics and Mathematics, Associate Professor)
Кафедра вычислительной математики и компьютерного моделирования ММФ (Department of Calculus Mathematics and Computer Modelling, Mechanics and Mathematics Faculty)
Taught by: Евгений Александрович Данилкин (Evgeniy A. Danilkin) , Кандидат физико-математических наук, доцент (Сandidate of Physics and Mathematics, Associate Professor)
Кафедра вычислительной математики и компьютерного моделирования ММФ (Department of Calculus Mathematics and Computer Modelling, Mechanics and Mathematics Faculty)
| Commitment | 9 недель исследования, 1-2 часов / неделю |
| Language | Russian |
| How To Pass | Pass all graded assignments to complete the course. |
| User Ratings |
Syllabus
WEEK 1
Добро пожаловать на курс «Введение в параллельное программирование с использованием OpenMP и MPI»
Добро пожаловать на курс параллельного программирования! Надеемся вам будет интересно. Пожалуйста, внимательно прочитайте все инструкции.
1 video, 11 readings
- Video: О курсе «Введение в параллельное программирование с использованием OpenMP и MPI»
- Reading: О Национальном исследовательском Томском государственном университете
- Reading: О преподавателях
- Reading: О команде курса
- Reading: Необходимое программное обеспечение
- Reading: Инструкция по установке MS Visual Studio 2015 Community edition в операционной системе Windows
- Reading: Инструкция по установке Intel® Parallel Studio XE Professional 2016 на компьютер с операционной системой Windows
- Reading: Инструкция по установке HPC Pack 2008 SDK SP2 на компьютер с операционной системой Windows
- Reading: Инструкция по установке и настройке MPI в Windows
- Reading: Список литературы и дополнительных материалов к курсу
- Reading: Анкета слушателя
- Reading: Доступ к кластеру ТГУ Cyberia
Введение в параллельный мир
На этой неделе мы рассмотрим историю развития высокопроизводительных вычислительных систем. Разберемся, как устроена память в компьютере и какие есть у нее особенности. Также мы с вами узнаем, как устроена оперативная память в многопроцессорных вычислительных системах, и рассмотрим их основные архитектуры. Рассмотрим несколько примеров задач, для решения которых необходимо применять суперЭВМ, и некоторые инструменты создания параллельных программ.
5 videos, 2 readings
- Video: 1.1. История развития параллелизма в архитектуре ЭВМ
- Video: 1.2. Иерархическая организация памяти в компьютере
- Reading: Перемножение матриц
- Video: 1.3. Основные архитектуры многопроцессорных вычислительных систем. Их классификация
- Video: 1.4. Обзор задач, требующих использования СуперЭВМ
- Video: 1.5. Инструменты создания параллельных программ
- Reading: Суперкомпьютерные технологии в науке, образовании и промышленности
Graded: Тестовые вопросы
WEEK 2
Основы OpenMP
Добро пожаловать на вторую неделю курса! На этой неделе мы рассмотрим особенности программирования для систем с общей памятью. Разберемся с такими понятиями, как поток и многопоточность. Мы начнем изучение технологии OpenMP, научимся создавать параллельную область. На примерах рассмотрим директивы, которые позволяют управлять процессом исполнения кода в параллельной области.
5 videos, 2 readings
- Video: 2.1. Особенности программирования для систем с общей памятью. Понятие процесса, потока и многопоточности
- Video: 2.2. Технология OpenMP, особенности и ее компоненты
- Video: 2.3. Задание параллельной области и опции, влияющие на ее выполнение
- Video: 2.4. Модель памяти. Классы переменных в OpenMP
- Video: 2.5. Режимы выполнения многопоточных программ. Вложенный параллелизм
- Reading: Ответ на вопрос
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
Graded: Первое практическое задание
WEEK 3
Директивы распределения работы и синхронизации работы
Добро пожаловать на третью неделю курса! Надеемся, что вы получаете удовольствие от курса и обучения. На этой неделе мы изучим директивы OpenMP, которые позволяют распределять работу между потоками. Рассмотрим различные способы синхронизации выполнения потоков, научимся создавать критические секции и работать с общими переменными с использованием атомарных операций, а также изучим механизмы синхронизации на основе «замков».
5 videos, 3 readings
- Video: 3.1. Распараллеливание выполнения циклов
- Reading: Параллельная программа сложения векторов
- Video: 3.2. Распределение нескольких структурных блоков между потоками
- Reading: Параллельная обработка линейного списка
- Video: 3.3. Распределение работы на основе независимых задач
- Video: 3.4. Синхронизация выполнения различных потоков. Простые директивы
- Video: 3.5. Синхронизация выполнения различных потоков. Замки
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
Graded: Второе практическое задание
WEEK 4
Векторные вычисления с помощью OpenMP 4.0
Приветствуем вас на четвертой неделе курса! На этой недели мы разберемся с тем, что такое векторизация и зачем она нужна. Рассмотрим, как можно векторизовать код для современных процессоров, и познакомимся с новыми возможностями стандарта OpenMP 4.0.
4 videos, 1 reading
- Video: 4.1. Что такое векторизация и зачем она нужна
- Video: 4.2. Векторизация исполняемого кода для современных процессоров
- Video: 4.3. Новые возможности в стандарте OpenMP 4.0
- Video: 4.4. Примеры использования векторизации
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
WEEK 5
Анализ и оптимизация программ с использованием современных программных пакетов
Вот вы и добрались до пятой недели курса! На этой неделе мы с вами рассмотрим основные опции компилятора Intel и то, как можно попробовать автоматически распараллелить программу. Мы также изучим основные возможности программного пакета Intel Parallel Studio, который упрощает и помогает создавать параллельные программы.
4 videos, 2 readings
- Video: 5.1. Основные опции компилятора Intel. Автоматическое распараллеливание
- Reading: Использование опций компилятора
- Video: 5.2. Основные возможности Intel Parallel Studio
- Video: 5.3. Поиск ошибок работы с памятью с использованием Intel® Parallel Inspector
- Video: 5.4. Профилирование программ с использованием Intel® Parallel Amplifier
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
Graded: Итоговое практическое задание по OpenMP
WEEK 6
Системы с распределённой памятью. Основы MPI
Приветствуем вас на шестой неделе курса! Вы узнаете историю создания стандарта MPI и задачи, для решения которых он был разработан. Мы дадим основные термины и определения, используемые в рамках модели передачи сообщений. На нескольких примерах параллельных программ будут описаны шесть функций библиотеки MPI, использования которых уже достаточно для написания первых параллельных программ.
5 videos, 1 reading
- Video: 6.1. Основные понятия модели передачи сообщений, MPI среди других средств разработки параллельных программ
- Video: 6.2. Основные понятия и определения, состав MPI. Синтаксис функций MPI
- Video: 6.3. Первая параллельная программа с использованием MPI
- Video: 6.4. Ускорение работы параллельной программы
- Video: 6.5. О построении параллельных алгоритмов
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
WEEK 7
Прием и передача сообщений между отдельными процессами
На этой неделе будут изучены функции приема и передачи сообщений между отдельными процессами, будет дана классификация функций парного взаимодействия процессов. Также на ряде примеров будут показаны особенности использования функций приема и передачи сообщений.
5 videos, 1 reading
- Video: 7.1. Обзор двухточечных обменов сообщениями
- Video: 7.2. Блокирующие обмены
- Video: 7.3. Неблокирующие обмены
- Video: 7.4. Параллельные алгоритмы суммирования
- Video: 7.5. Примеры параллельных программ, демонстрирующие использование функций MPI, изученных в модуле 7
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
WEEK 8
Коллективные операции
Добро пожаловать на предпоследнюю неделю курса! На этой неделе мы изучим операции коллективного взаимодействия процессов, рассмотрим входные и выходные параметры для коллективных функций, опишем особенности их использования в зависимости от поставленной задачи.
5 videos, 1 reading
- Video: 8.1. Обзор коллективных операций. Широковещательная рассылка
- Video: 8.2. Функции сбора данных со всех процессов
- Video: 8.3. Функции распределения данных по всем процессам
- Video: 8.4. Функции редукции
- Video: 8.5. Примеры параллельных программ, демонстрирующие использование функций MPI, изученных в модуле 8
- Reading: Исходные коды примеров из видеолекций
Graded: Тестовые вопросы
Graded: Первое практическое задание по MPI
WEEK 9
Производные типы данных. Группы и коммуникаторы
Вот и подошла последняя неделя курса! Мы рассмотрим дополнительные возможности библиотеки MPI, опишем процедуры создания новых групп и коммуникаторов, а также рассмотрим создание и использование виртуальных топологий, таких как декартова решетка и топология графа.
5 videos, 2 readings
- Video: 9.1. Создание и использование производных типов данных
- Video: 9.2. Создание групп и коммуникаторов
- Video: 9.3. Виртуальные топологии. Декартова топология. Организация пересылок данных в декартовой топологии
- Video: 9.4. Виртуальные топологии. Топология графа
- Video: 9.5. Примеры параллельных программ, демонстрирующие использование функций MPI, изученных в модуле 9
- Reading: Исходные коды примеров из видеолекций
- Reading: Анкета завершившего курс
Graded: Тестовые вопросы
Graded: Второе практическое задание по MPI
FAQs
How It Works
Coursework
Each course is like an interactive textbook, featuring pre-recorded videos, quizzes and projects.
Help from Your Peers
Connect with thousands of other learners and debate ideas, discuss course material, and get help mastering concepts.
Certificates
Earn official recognition for your work, and share your success with friends, colleagues, and employers.
Creators
National Research Tomsk State University
National Research Tomsk State University is the largest classical university in the Asian part of Russia. For over 135 years TSU has been training the scientific and managerial elite, based on the integration of academic process and fundamental scientific research. It is a renowned center of education, science, innovations and attraction for creative talents, a generator of advanced ideas, and a paragon of adherence to the best traditions of Russian higher education.
There are 23 departments and learning institutes, 1 University branch, Institute of Distance Education, Institute of Innovations in Education operating at TSU, and more than 17,000 students studying at the University, with 135 subject areas and specialties to choose from. TSU offers 136 Master’s programmes in 55 areas of academic studies and counting.
The number of international students is constantly increasing, now with more than 1300 TSU students coming from countries such as the USA, UK, Germany, France, Australia, Italy, Poland, Mongolia, China, Vietnam, Korea, Columbia, Turkey and others.
Ratings and Reviews
Coursera provides universal access to the world’s best education, partnering with top universities and organizations to offer courses online.
© 2017 Coursera Inc. All rights reserved.
Good course for beginners, provides basic information about Open MP and MPI usage as well as some useful practical exercises. Also includes profiling/optimization session with Intel C/C++ compiler with good step-by-step instructions.