В работе обсуждается проблема обучения программированию для Intel Xeon Phi. Представлен практико-ориентированный подход к обучению, основанный на обширном лабораторном практикуме. Отличительной особенностью подхода является комбинация классических задач на освоение концепций и приемов параллельного программирования и реальных примеров, возникших при решении научных задач финансовой математики и вычислительной физики. В работе приведено описание разработанного курса «Программирование для Intel Xeon Phi», представлена информация об опыте его прочтения. Материалы курса на русском языке выложены в открытый доступ на сайте www.intuit.ru [1-2].
гда, а там, где возможно, нередко требует существенных знаний и навыков. Обсуждению вопроса об обучении программирования для Xeon Phi и посвящена данная работа.
В работе приводится описание подхода к обучению программированию на XeonPhi, разработанному в ННГУ при финансовой поддержке компании Intel. Отличительной особенностью указанного подхода является практико-ориентированное преподавание, сочетающее как классические примеры на организацию параллельных вычислений (матричные операции, сортировки и другие), так и авторские разработки, выросшие из реальных научных проектов из разных предметных областей (финансовая математика, вычислительная физика), выполняемых в университете. Работа построена следующим образом. В разделе 2 рассмотрены некоторые аналогичные работы. В разделе 3 дана краткая характеристика методики преподавания. В разделе 4 приведен учебно-тематический план лекционной части курса «Программирование для Intel Xeon Phi». В разделе 5 приведена информация об организации лабораторного практикума. В разделе 6 дана краткая характеристика методики оценки знаний обучаемых. В разделе 7 представлен опыт чтения курса на факультете ВМК ННГУ. В заключении приведено описание основных результатов и планов по их дальнейшему развитию.
Область высокопроизводительных вычислений развивается очень интенсивно, практически каждый год происходит обновление актуальной совокупности аппаратных средств, технологий программирования и инструментальных средств, которыми должен владеть разработчик HPCприложений. Подготовка высококвалифицированных специалистов в данной области требует формирования комплексных учебных программ, охватывающих различные аспекты обучения, и в то же время позволяющих оперативно их дополнять при появлении новых технологий. При появлении архитектуры Xeon Phi различные вузы использовали следующие основные подходы.
– Включение информации об архитектуре Xeon Phi и особенностях программирования для
него в существующие курсы по архитектуре ЭВМ, параллельному программированию или
смежным с ними [
Структура и содержание подобных курсов достаточно стандартны, поскольку широко
обсуждались академическим сообществом и описаны в ряде разработанных рекомендаций (ACM
Computer Science Curricula 2013 [
Существует ряд организаций, разработавших курс или комплект курсов по
программированию для Intel Xeon Phi и выполняющих обучение по данной теме по запросу [
– Разработка отдельного курса по программированию для Xeon Phi [
На наш взгляд все перечисленные подходы являются приемлемыми, и выбор зависит от структуры программы обучения в целом и целей обучения.
Основными источниками информации, использованными нами при разработке курса
"Программирование и оптимизация для архитектуры Intel Xeon Phi" являлись:
– сайт компании Intel (разработчик архитектуры), содержащий техническую
документацию, учебные материалы и статьи разработчиков [
Последняя из книг – "High Performance Parallelism Pearls: Multicore and Many-core
Programming Approaches" [
Курс был разработан в нескольких вариантах - на русском и английском языках, в виде единого курса и разбитого на базовую и расширенную части, в виде модулей для представления на мероприятиях и мастер-классах. Далее мы будем рассматривать наиболее полный вариант курса.
Основная цель курса – изучить базовые принципы и сформировать навыки разработки программ, ориентированных на эффективное использование Intel Xeon Phi. При этом решаются следующие задачи:
– Изучение особенностей архитектуры Intel Xeon Phi, а также основных механизмов, влияющих на производительность программ.
– Изучение моделей использования Intel Xeon Phi, а также соответствующего системного программного обеспечения. Освоение способов разработки, сборки и запуска приложений на Intel Xeon Phi.
– Изучение принципов и особенностей применения технологий параллельного программирования для разработки и оптимизации расчетных программ, ориентированных на Intel Xeon Phi, включая вопросы использования инструкций SIMD, технологий OpenMP и Cilk Plus.
– Формирование навыков оптимизации и векторизации расчетных циклов, оптимизации работы с памятью, балансировки нагрузки при распараллеливании.
–Ознакомление с достаточно успешными примерами оптимизации программ, изначально не совсем подходящих для эффективного использования возможностей Intel Xeon Phi. Курс рассчитан на 32 часа, в том числе: – 10 часов лекций, на которых рассматриваются архитектура процессора, модели организации вычислений и подходы к оптимизации программ (см. п.4.);
– 10 часов практических занятий, которые могут проводиться в режиме лабораторных работ (слушатели пошагово выполняют задания под руководством инструктора или самостоятельно решают поставленную задачу, при необходимости пользуясь советами и подсказками преподавателя) либо в режиме мастер-классов (инструктор пошагово показывает то, что необходимо сделать, давая необходимые пояснения); темы лабораторных работ приведены в п.5; – 12 часов выделяется на самостоятельную работу, в ходе которой студент должен выполнить практические домашние задания, а также выпускную работу, связанную с оптимизацией некоторого алгоритма для Intel Xeon Phi; примером задания для выпускной работы является достижение 50% от максимальной производительности в задаче умножения плотных матриц.
Для оценки знаний студентов используется система тестирования (см.п.6), и просмотр выполненных ими домашних заданий и выпускной работы.
Все материалы курса были разработаны на русском и английском языках. Русскоязычная
версия курса представлена на сайте Интуит в виде двух связанных курсов для базового и
продвинутого уровня [
2.Выполнение программ на Intel Xeon Phi. Модели организации вычислений с использованием Intel Xeon Phi.
3.Векторные расширения Intel Xeon Phi. 4.Элементы оптимизации прикладных программ для Intel Xeon Phi. Intel C/C++ Compiler. 5.Элементы оптимизации прикладных программ для Intel Xeon Phi: Intel MKL, Intel VTune Amplifier XE.
Фактически, лекционная часть курса делится на три блока: знакомство с архитектурой Intel Xeon Phi, изучение моделей программирования, обеспечение эффективного использования вычислительной мощи архитектуры (если задача это допускает).
В лекции 1 рассматриваются основные архитектурные блоки и особенности сопроцессора: ядро, блок векторной обработки данных, встроенная высокопроизводительная двунаправленная кольцевая шина, полностью когерентные кэши L2 и принципы взаимодействия компонент. Описывается принцип работы конвейера ядра, рассматривается иерархия памяти. Основное внимание уделяется элементам, наиболее существенно влияющим на производительность вычислений, и пониманию архитектурной основы способов оптимизации программ для архитектуры Intel Xeon Phi.
Лекция 2 содержит описание принципов выполнения программ и моделей организации вычислений с использованием сопроцессора Intel Xeon Phi (offload model, coprocessor-only model, symmetric model). Обсуждаются способы создания приложений для Xeon Phi. Описываются архитектура и состав ПО, обеспечивающего выполнение программ на Intel Xeon Phi. Дается краткое описание Intel Manycore Platform Software Stack и симметричного коммуникационного интерфейса.
В начале лекции 3 дается вводная информация о векторных расширениях. Далее рассматриваются особенности векторных расширений Intel Xeon Phi: дается краткое описание основных типов данных и регистрового пула, приводится обзор основных типов операций, упоминается расширенная поддержка математических функций. Рассматривается вопрос о доступе к векторным расширениям при программировании на языках высокого уровня. Описываются несколько способов векторизации расчетов и их особенности. В заключительной части лекции затрагивается важный вопрос о связи векторизации с вычислением математических функций.
Лекция 4 посвящена изучению некоторых приемов оптимизации кода для Intel Xeon Phi. В первой части лекции обсуждаются новые элементы языков программирования, предназначенные для работы с памятью при использовании режима offload. Рассматриваются явная и неявная схемы работы с памятью, дается их сравнительная характеристика. Во второй части приводится дополнительная информация о способах векторизации кода, не рассмотренная подробно в предыдущей лекции. Вновь обсуждается автоматическая векторизация кода, использование директив для векторизации, новые возможности Array notation и Elemental functions, а также другие возможности компилятора. В третьей части рассматривается встроенный в компилятор профилировщик циклов, обсуждается использование отчетов компилятора, балансировка нагрузки в параллельных программах, даются некоторые дополнительные рекомендации. Изложение сопровождается примерами программ.
В лекции 5 изучаются два важных и активно применяемых инструмента из пакета Intel Parallel Studio XE – профилировщик Intel VTune Amplifier XE (далее Amplifier) и библиотека ма-тематических алгоритмов Intel Math Kernel Library (MKL) – и возможности и правила их использования при программировании для Intel Xeon Phi. Вначале изучаются особенности использования библиотеки MKL при программировании на сопроцессоре: возможности отправки части вычислений на сопроцессор в режимах Automatic offload, Compiler assisted offload, выполнение расчетов на Xeon Phi и рекомендации по выбору модели программирования. Затем рассматривается оптимизация приложений с помощью Amplifier: приводится обзор инструмента, рассказывается об анализе эффективности приложений на сопроцессоре, обсуждаются некоторые важные метрики для оценки производительности. 5. Лабораторный практикум
Комплект лабораторных работ обеспечивает получение базовых навыков работы с системами, использующими Intel Xeon Phi, включает рассмотрение стандартных задач математического программирования, а также знакомство с ситуациями, возникающими при решение реальных научно-исследовательских задач в области вычислительной физики и финансовой математики. 1.Компиляция и запуск приложений на Intel Xeon Phi.
2.Оптимизация прикладных программ для Intel Xeon Phi с использованием Intel C/C++ Compiler. Векторизация.
3.Оптимизация вычислений в задаче о разложении чисел на простые сомножители. Векторизация и балансировка нагрузки.
4.Оптимизация вычислений в задаче о вычислении справедливой цены опциона Европейского типа. Оптимизация: шаг за шагом.
5.Оптимизация вычислений в задаче матричного умножения. Оптимизация работы с памятью.
В лабораторной работе 1 (ЛР1) изучаются основные модели программирования и режимы компиляции и запуска программ, а также рассматривается ряд примеров, демонстрирующих процесс переноса кода на сопроцессор Intel Xeon Phi. Демонстрируются подходы к написанию кода в каждом из режимов и последовательность шагов, которые необходимо выполнить для компиляции и запуска программ. В рамках данной лабораторной работы рассматриваются режимы offload, coprocessor only и symmetric mode.
ЛР2 формирует навыки векторизации кода в программах на языке C с использованием IntelC/C++ Compiler. Иллюстрируются основные способы использования векторных инструкций на сопроцессоре IntelXeonPhi: использование ключевого слова restrict и #pragma ivdep для гарантии отсутствия потенциальных зависимостей, явная векторизация через #pragma simd, использование Array notation и Elemental functions, рассматриваются вопросы векторизации циклов с вызовами математических функций. В завершение рассматриваются более сложные примеры. Акцент в ЛР2 сделан на обзорном рассмотрении различных средств на простых примерах и представлении многообразия доступных в настоящее время средств векторизации и общей идеологии их использования.
В ЛР3 иллюстрируются некоторые решения, позволяющие добиться результата там, где этого, казалось бы, сделать не удастся. Рассмотрен один из самых простых алгоритмов решения задачи разложения натуральных чисел на простые множители (выбор алгоритма обусловлен не его эффективностью, а удобством для демонстрации приемов оптимизации.) Описывается последовательная реализация алгоритма, выполняется перенос вычислений на сопроцессор. Предлагается простейшая параллельная реализация алгоритма, выполняется анализ ее эффективности, обсуждаются возможные способы балансировки нагрузки для повышения производительности. Демонстрируется один из методов векторизации сложных циклов. Показывается способ построения гибридной схемы вычислений, позволяющей задействовать в расчетах CPU и Xeon Phi.
В ЛР4 иллюстрируются некоторые приемы оптимизации вычислений в научных и инженерных приложениях, рассматривается достаточно простая задача финансовой математики – вычисление справедливой цены опциона Европейского типа в том случае, когда эта цена может быть вычислена аналитически. Дается краткое описание модели финансового рынка, формулируются основные понятия, приводится их интуитивное описание, способствующее пониманию сути и смысла решаемой прикладной задачи. Далее описывается базовая программная реализация, проводится анализ производительности, шаг за шагом в программу вносятся изменения, иллюстрирующие приемы оптимизации: устранение ненужных преобразований типов, вынос инвариантов, эквивалентные преобразования с заменой «тяжелых» математических функций более «легкими», векторизация вычислений, распараллеливание, «прогрев» – снижение накладных расходов на создание потоков, понижение точности вычислений с плавающей запятой, оптимизация работы с памятью (использование streaming stores). Эффекты от оптимизации демонстрируются как на Intel Xeon, так и на Intel Xeon Phi.
ЛР5 посвящена изучению базовых принципов применения известных способов повышения производительности на примере известной, широко распространенной в приложениях и хорошо исследованной в литературе задачи – умножения плотных матриц. В отличие от предыдущих лабораторных работ, подробно изучающих разные техники оптимизации расчетов, основное внимание уделяется вопросам оптимизации работы с памятью. Для сравнения результатов вычислений и времени работы реализуется умножение плотных матриц с использованием высокопроизводительной библиотеки Intel MKL. Приводится наивная реализация алгоритма умножения матриц. Рассматриваются вопросы влияния порядка циклов на время вычислений на сопроцессор Intel Xeon Phi. Изучается влияние выравнивания и подсказок компилятору на векторизацию вычислений. Реализуется несколько редакций блочного алгоритма умножения матриц. Формулируются задания для самостоятельной проработки.
При выполнении лабораторных работ и проведении мастер-классов мы используем
компьютер "Лобачевский" Нижегородского государственного университета, который включает
несколько узлов, оснащенных сопроцессорами Intel Xeon Phi [
В ходе разработки курса было подготовлено более 200 вопросов, из которых составлены тесты по курсу. Тесты представлены на сайте Интуит в составе курса (www.intuit.ru) и на сайте программы сертификации ННГУ - Intel (nncc.unn.ru).
– Результат выполнения выпускной работы.
В выпускной работе оценивается достигнутый уровень производительности и тип и качество проведенных оптимизаций. 7. Опыт прочтения курса на факультете ВМК ННГУ
Занятия по курсу «Программирование на Intel Xeon Phi» на третьем курсе факультета ВМК ННГУ проводились по следующей схеме. В начале читалось несколько обзорных лекций, включая «Введение в параллельное программирование на современных архитектурах», «Микроархитектура Intel Xeon Phi» и «Модели исполнения программ на сопроцессоре». Затем каждая лекция чередовалась с практическим занятием, на котором студентам предлагалось самостоятельно выполнить 2-3 небольших задания по материалу, рассказанному на предыдущей лекции. Примерами таких пар «лекция-практика» могут служить занятия по темам «Программирование в режиме Offload», «Векторизация», «Подходы к оптимизации программ на сопроцессоре» и др. Практические занятия проводились на базе вычислительного кластера ННГУ "Лобачевский" с Intel Xeon Phi на узлах. Каждый студент имел доступ к кластеру со своей локальной машины по протоколу SSH.
Что касается степени усваивания материалы студентами, то по нашим наблюдениям лучше всего усваиваются те части программы, акцент на которые делается в практической части курса. В то же время материал лекций, не вполне подкрепленных практикой, усваивается хуже. Это справедливо, например, к теме «Микроархитектура Intel Xeon Phi». По окончании курса у большинства студентов остается только базовое пониманием архитектуры сопроцессора, в то время как низкоуровневые детали остаются без внимания.
Отметим также, что данный курс опирается на уже изученные студентами технологии параллельного программирования, такие как OpenMP и MPI, повторное описание которых не входило в материал. Однако проблем с их применением на практике в рамках новой инфраструктуры замечено не было.
Основной технической сложностью при проведении занятий является необходимость взаимодействия студентов с кластером для доступа непосредственно к Intel Xeon Phi. Причем проблем здесь две.
Первая состоит в том, что в стандартную учебную программу не входит обучение студентов работе с системами управления кластером, а значит, это приходится делать в рамках данного курса. Причем в силу ограниченности времени студентам дается не общее описание систем управления, а скорее набор правил, команд, которые нужно выполнить для запуска задачи на сопроцессоре. Это приводит к тому, что любое отклонение от стандартных команд оборачивается проблемами с запуском, которые приходится решать индивидуально с каждым студентом во время практических занятий.
Вторая проблема – наличие свободных ресурсов кластера. В рамках апробации курса проблему свободных ресурсов мы решали путем выделения отдельного раздела, состоящего из нескольких узлов кластера, доступ к которым могли иметь только студенты во время практических занятий.
В ходе апробации техника проведения зачета по курсу сводилась к следующему. Степень выполнения задач, предлагаемых студентам в рамках каждого из практических занятий, фиксировалась преподавателем. По результатам семестра студенты, которые успешно справились с большей частью заданий, получали зачет автоматом. Следует отметить, что в рамках апробации таких студентов было большинство. С остальными студентами проводились устные беседы на знание основ программирования на Intel Xeon Phi.
По окончании данного курса студенты получили как теоретические знания об устройстве сопроцессора, методах его программирования и основных подходах к оптимизации программ для Intel Xeon Phi, так и практические навыки программирования сопроцессора в различных режимах. 8. Заключение
Мы представили учебный курс "Программирование и оптимизация для архитектуры Intel Xeon Phi", разработанный в Нижегородском государственном университете им.Н.И. Лобачевского. Основной целью курса является изучение базовых принципов написания высокопроизводительных приложений для архитектуры Intel Xeon Phi. Мы представили программу курса и методику преподавания, которые, по нашему мнению, позволяют подготовить специалистов, способных принимать участие в научных исследованиях в области вычислительной физики и финансовой математики. По результатам проделанной работы планируется издать учебное пособие. Литература 5. Свод знаний и умений предметной области «Суперкомпьютеры и параллельные вычисления» URL: http://hpc-education.ru/files/Svod_v24_intro_2013_09_20.pdf (дата обращения: 14.06.2015). Programming and optimization for Intel Xeon Phi course Alexey Linev, Iosif Meyerov, Alexander Sysoyev, Sergey Bastrakov, Anton Gorshkov and Alexey Svistunov Keywords: Intel Xeon Phi, Many Integrated Core Architecture, computer architecture courses, high performance computing, parallel programming, software optimization In this work we discuss the problem of teaching programming for Intel Xeon Phi architecture. We present practice-oriented approach accompanied with extensive practical part. Our method has a distinctive feature of combined usage of classical teaching examples in the area parallel programming and real problems form areas of computational physics and financial mathematics. This work contains description of developed "Programming and Optimization for Intel Xeon Phi" course and it's approbation results. Russian language version of this course is freely available at www.intuit.ru.