Объединенный институт высоких температур РАН Развитие аппаратного обеспечения для высокопроизводительных расчетов опережает адаптацию алгоритмов для таких фундаментальных математических алгоритмов как классическая и квантовая молекулярная динамика. Большое разнообразие выбора обуславливает необходимость ясных критериев, основанных на вычислительной эффективности определенного алгоритма на определенном аппаратном обеспечении. Тест LINPACK не может более служить этой цели. В этой работе мы рассматриваем основанную на практических соображениях метрику «время решения - пиковая производительность». В этой метрике мы сравниваем различное аппаратное обеспечение (как современное, так и вышедшее из употребления) на примере тестов программного обеспечения LAMMPS, GROMACS, NAMD и CP2K, широко используемых для атомистического моделирования. Показано, что рассмотренная метрика может служить для однозначного сравнения различных комбинаций центральных процессоров, ускорителей и интерконнекта.
молекулярной динамики [5,6]. На них проводятся рекордные по числу частиц
молекулярнодинамические расчеты [
В сложившейся ситуации при наличии большого разнообразия аппаратного обеспечения для высокопроизводительных суперкомпьютерных расчетов особенную актуальность приобретает вопрос сравнения между собой различных альтернативных решений. Целью анализа должна быть эффективность связи 1) аппаратного обеспечения, 2) конкретной математической модели или класса моделей и 3) численных алгоритмов, в том числе с учетом уже существующего программного обеспечения (ПО) и сложности их адаптации на новые типы аппаратного обеспечения.
Популярный тест LINPACK, использующийся для ранжирования суперкомпьютеров, не отражает особенностей многих современных алгоритмов, в том числе и алгоритмов атомистического моделирования, являющихся предметом этой статьи. Для данного класса задач это приводит к существенному отличию между реальной и теоретически максимальной производительностью [8, 9]. Отсюда следует, что необходим анализ эффективности работы конкретных программ и алгоритмов на различных архитектурах. В качестве примеров аппаратного обеспечения рассматриваются лучшие суперкомпьютерные системы России. Анализируемые математические модели соответствуют стандартным примерам: леннардджонсовская жидкость (типичная система для задач статистической физики, физики конденсированных сред и физической химии), белковая молекула в водном растворе и квантовый расчет молекул воды. В качестве примера ПО мы используем популярные пакеты для классических и квантовых задач атомистического моделирования: LAMMPS, GROMACS, NAMD, CP2K.
Развитие современных многомасштабных моделей в физике, химии, биологии,
материаловедении и других областях существенным образом основано на моделировании процессов
на атомистическом уровне. При этом даже достигнутый на сегодня рекордный размер
моделей в триллионы частиц [
Распространение графических процессоров для научных вычислений произошло за счет появления специальных технологий программирования CUDA и OpenCL. В настоящее время наиболее распространены две архитектуры компании NVIDIA: Fermi и Kepler. Пик популярности архитектуры Fermi пришелся на 2012 год, теперь она вытесняется более новой архитектурой Kepler. Архитектура Kepler обеспечивает большее быстродействие, имеет больший объем памяти, а также поддерживает последние версии спецификации CUDA. В работе исследовалась работа видеокарт NVIDIA X2070 архитектуры GF100 (Fermi) и NVIDIA K40 архитектуры GK110 (Kepler). Задачи на видеокартах выполняются по принципу SIMD (одиночный поток команд и множественный поток данных single instruction multiple data). Базовой единицей при запуске задачи является поток (thread), выполняемый на одном ядре. Потоки объединяются в блоки (block), запускаемые на одном мультипроцессоре. При этом они имеют доступ к одним и тем же данным в регистрах и разделяемой памяти. Потоки запускаются группами из 32 единиц, называемых варпами (warp). Принцип SIMD подразумевает, что одна команда применяется ко всем потокам в варпе.
Видеокарты архитектуры GF100 имеют 14 потоковых мультипроцессоров, каждый состоит из 32 вычислительных ядер, 4 устройств для расчета трансцендентных функций с одинарной точностью. Вычислительные ядра работают на частоте 1150 МГц, только половина из них может выполнять операции с двойной точностью. Развитие производительности видеокарт идет по пути увеличения вычислительной мощности мультипроцессоров. Мультипроцессор архитектуры GK110 имеет 192 вычислительных ядра, 64 из них могут выполнять операции с двойной точностью. Ядра работают на частоте 745 МГц. На видеокарте установлено 15 таких мультипроцессоров. Число ядер увеличилось более чем в 6 раз, для работы с ними число одновременно запускаемых потоков на мультипроцессоре также увеличено. Вдвое увеличено число регистров на поток для повторного использования переменных. Также появилась поддержка динамического параллелизма — потоки GPU могут генерировать новые потоки без обращения к CPU, что может давать преимущества на некоторых задачах.
Тестирование видеокарт поколения Fermi и более старого Tesla на алгоритмах молекулярной динамики проводилось в работе [10]. Показано, что относительная производительность видеокарт от числа ядер хорошо описывается законом Амдала, то есть имеет место ограничение роста производительности из-за невозможности обеспечить стопроцентную параллелизацию алгоритма. 2.2. Intel Xeon Phi Таблица 1. Сравнение ускорителей, используемых для расчетов в данной работе Ускоритель Число ядер Объем памяти, Гб Тактовая частота, ГГц
Потребляемая мощность, Вт
X2070
2.3. Особенности реализации операций с плавающей точкой на ускорителях Как на ускорителях NVIDIA GPU, так и на сопроцессорах Intel Xeon Phi, операции двойной точности с плавающей точкой поддерживают набор инструкций умножения-сложения с однократным округлением (fused multiply-add — FMA). При этом за один такт может выполняться одна операция сложения и одна операция умножения вида y=a*x+b без потери точности. Это позволяет добиться ускорения в алгоритмах, требующих суммирования произведений, например, перемножение матриц или вычисление значения многочлена по схеме Горнера.
Некоторые особенности возникают при расчете пиковой производительности в режиме одинарной точности. Производительность Intel Xeon Phi увеличивается в 2 раза за счет того, что в каждый регистр помещается в 2 раза больше данных. Видеокарты NVIDIA имеют ядра, которые работают только в режиме одинарной точности (single precision units — SPU), и ядра, поддерживающие режим двойной точности (double precision units DPU). Рост производительности в этом случае зависит от отношения SPU к DPU. Каждый SPU за 1 такт может выполнять одну операцию FMA и одну операцию умножения, то есть три операции с плавающей точкой на один такт. Также есть ядра, поддерживающие на аппаратном уровне вычисление трансцендентных функций с одинарной точностью. Их обычно не учитывают при расчете пиковой производительности.
В алгоритмах молекулярной динамики большую часть времени расчета занимает построение списка соседей и вычисление сил взаимодействия между атомами. Однако доля операций, в которых можно использовать инструкции FMA, ничтожна. В результате выполнения любой одиночной операции сложения/умножения фактически приводит к тому, что половина вычислительной мощности ускорителя или сопроцессора остается незадействованной. В отличие от ускорителей процессоры Intel поколения Sandy Bridge и Ivy Bridge, установленные сегодня на большинстве современных суперкомпьютеров, не поддерживают набор инструкций FMA на аппаратном уровне.
Используемые в работе ускорители сравниваются в таблице 1.
3. Реализация атомистических алгоритмов на ускорителях
В данной работе для тестов использовались популярные пакеты программ для
атомистического моделирования LAMMPS [
GPU
Intel Xeon Phi, «родной» режим
Intel Xeon Phi, режим разгрузки
+
+
+
+
+
Модули предназначены для расширения базового функционала, часть из них
позволяет проводить расчеты на гибридной архитектуре. Для расчетов с использованием
GPUускорителей существует 3 разных модуля, которые имеют названия «GPU» [
В пакетах GROMACS, NAMD и CP2K также существует возможность запуска задач на видеокартах. Реализована поддержка Intel Phi в «родном» режиме (GROMACS, CP2K) и режиме разгрузки (NAMD).
Создание эффективных алгоритмов для сложных многочастичных потенциалов не
всегда тривиально, как показывает опыт разработки на GPU [
В данном разделе приводится анализ производительности пакета программ LAMMPS на различных гибридных архитектурах. Задачи запускались на суперкомпьютере МГУ им. М.В. Ломоносова «Ломоносов» [25] (видеокарты NVIDIA X2070) и суперкомпьютере МСЦ РАН МВС-10П (сопроцессоры Intel Xeon Phi). Видеокарта K40 исследовалась на тестовом компьютере, предоставленном компанией NVIDIA. Для оценки эффективности алгоритмов рассматривалась леннард-джонсовская жидкость из 106 атомов, длина траектории составляла 100 шагов. В качестве критерия сравнения использовалось время расчета одного шага на один атом, так как оно слабо зависит от полного числа атомов и служит объективным критерием быстродействия. Производительность гибридных архитектур соотносилась с производительностью обычных процессоров в метрике их пиковой производительности
Рассмотрим подробнее данные на рисунке 1. В части а) приведено сравнение
обычной версии LAMMPS (без векторизации кода) и с ручной векторизацией (модуль
«USERINTEL») на суперкомпьютерах МВС-10П и «Ломоносов». Для сравнения приведены данные
однопроцессорных тестов на некоторых вышедших из эксплуатации машинах начала
2000Рис. 1. Сравнение быстродействия МД-пакета LAMMPS на различных платформах: а) Расчеты
на суперкомпьютере МВС-10П без ( \oplus ) и с векторизацией (\square ) кода с использованием модуля
USERINTEL; на суперкомпьютере «Ломоносов» без векторизации кода ( c\ir ). Для сравнения приведены
данные однопроцессорных тестов с сайта LAMMPS [
Рост производительности современных суперкомпьютеров идет как по пути наращивания вычислительных ядер, так и наращивания сложности самого ядра, внедрения операций FMA и поддержки векторных инструкций. Это приводит к увеличению теоретической пиковой производительности, которая зачастую не может использоваться на 100% для многих алгоритмов.
Эту ситуацию можно проиллюстрировать на примере процессоров Power4 и PowerPC 440 (точки 3 и 4 на рис. 1а), которые выбиваются из обратной пропорциональности времени расчета от пиковой производительности ядра. Однако эти точки ложатся на общую линию, если уменьшить реальное число операций на такт с 4 до 2 для Power4 и с 4 до 1 для PowerPC 440 (и, соответственно, пиковую производительность ядра). В первом случае 4 операции на такт обеспечиваются двумя операциями FMA, во втором случае — двойной операцией FMA (одна операция FMA применяется к двум сегментам данных). Таким образом, в данном случае реальная производительность составляет 50% и 25% от R\mathrm{p}\mathr{eathrm{a}\mathrm{k} даже МВС-10П Ломоносов Ross
Модель процессора Xeon E5-2690 Xeon X5570
BlueGene/L PowerPC 440 Cheetah
Настольный
Xeon X5690 Таблица 3. Сравнительная характеристика некоторых процессоров Тактовая Число операций с частота, двойной точностью на ГГц такт
Пиковая производительность одного ядра, ГФлопс 8 4 2 4 4 4 4.2. Белок в водной системе
Аналогичное сравнение суперкомпьютеров по эффективности использования пиковой вычислительной мощности R\mathrm{p}\mathr{eathrm{a}\mathrm{k} сделано для задачи расчета свойств белка в водной системе. В сравнение по данной метрике включены и специализированные архитектуры типа ANTON.
Суперкомпьютер ANTON-2 основан на интегральной схеме специального назначения (ASIC), разработанной для численной реализации алгоритма классической молекулярной динамики в моделях с межчастичными потенциалами, ориентированными на биомолекулярные задачи. Суперкомпьютер содержит 512 узлов, объединенных специализированным Рис. 2. Сравнение быстродействия теста ApoA1 на классической и специализированной архитектуре. Cимволы \oplus и d\iamon показывают производительность ПО Gromacs на суперкомпьютере МВС-10П, остальные — ПО NAMD на различных суперкомпьютерах. 4.3. Квантовый МД-расчет молекул воды
Метрика «время решения — пиковая производительность» пригодна и при рассмотрении квантовых МД-задач. Для сравнения различных суперкомпьютеров использовался стандартный тест воды из пакета программ CP2K. На рисунке 3 приведены времена расчета для различного числа молекул воды на суперкомпьютерах Cray XT3 и XT5, IBM BlueGene/P и К-100 ИПМ РАН.
Для одного узла производительность в секундах на 1 шаг довольна близка для различных систем. Роль интерконнекта становится очевидной при использовании нескольких Рис. 3. Квантовый МД-расчет молекул воды (от 32 до 2048) с использованием пакета CP2K на различных суперкомпьютерах узлов, когда происходит падение производительности из-за интенсивного обмена данными. Для суперкомпьютера IBM BlueGene/P также заметна потеря значительной доли пиковой производительности из-за операций FMA. 5. Выводы
Введена очевидная, но ранее не используемая метрика для ранжирования высокопроизводительных вычислительных систем «время решения — пиковая производительность (в единицах флопс)». Данная метрика использована для сравнения гибридных, специализированных и других систем на примерах моделей классической молекулярной динамики. Наилучшую эффективность в данной метрике на модели леннард-джонсовской жидкости показывают процессоры Intel Xeon с использованием алгоритмов с ручной векторизацией из пакета «USER-INTEL» в LAMMPS. Эффективность аппаратного обеспечения NVIDIA GPU повышается в моделях последнего поколения с использованием новейших программных решений (пакета «KOKKOS» в LAMMPS), однако на сегодняшний день значительно проигрывает эффективности Intel Xeon. Таким образом, при одинаковой вычислительной мощности наименьшее время расчета достигается на классических процессорах, хотя они проигрывают NVIDIA GPU по энергопотреблению и стоимости. Ускорители Intel Xeon Phi на текущий момент не эффективны для ускорения молекулярно-динамических расчетов и не оправдывают своей стоимости.
Результаты тестов показывают, что предложенная метрика выявляет аппаратное обеспечение, оптимизированное под тесты типа LINPACK и являющееся существенно менее эффективным для приложений иного типа. В частности, подобный результат был ожидаем для архитектур NVIDIA GPU и Intel Xeon Phi, однако и для процессоров IBM Power оказалось, что максимальная эффективность операций с плавающей точкой для задач молекулярной динамики соответствует лишь половине декларируемой пиковой производительности.
Показано, что архитектура таких специализированных решений, как ANTON и ANTON2, обеспечивает близкое к 100% использование полной пиковой производительность этих суперкомпьютеров даже на молекулярно-динамических задачах малого размера. Литература 1. Список 500 лучших суперкомпьютеров. URL: http://top500.org (дата обращения: 16.04.2015). What is the fastest way to compute quantum and classical atomistic models using the latest software algorithms and supercomputing hardware? Grigory Smirnov and Vladimir Stegailov Keywords: atomistic models, efficiency, scalability, peak performance Development of new HPC architectures proceeds faster than the corresponding adjustment of the algorithms for such fundamental mathematical models as quantum and classical and quantum molecular dynamics. Due to the abundance of hardware options there is the need for clear guiding criteria for the computational efficiency of a particular model on a particular hardware. LINPACK benchmark alone can no longer serve this role. In this work we consider a practical metric of the time-to-solution versus the computational peak performance of a given hardware system. In this metric we compare different hardware (both legacy and modern) for the LAMMPS, GROMACS, NAMD and CP2K software packages widely used for atomistic modeling. The metric considered can serve as a universal unambiguous scale that ranges different combinations of CPUs, accelerators and interconnects.