Развитие вычислительной техники последних десятилетий проходило в рамках известного закона Мура, согласно которому количество транзисторов, размещаемых на кристалле интегральной схемы, и их производительность удваиваются каждые полтора-два года. В настоящее время развитие элементной базы подошло к физическим пределам, и дальнейший рост производительности высокопроизводительных вычислительных систем все больше и больше основывается не на росте производительности отдельных интегральных схем, а на создании суперкомпьютеров, объединяющих в одно целое колоссальное число вычислительных элементов [1]. Согласно существующим оценкам суперкомпьютеры экзафлопсной эры будут состоять из миллионов вычислительных элементов. Для создания подобных систем первоочередную важность приобретают вопросы энергопотребления. Акценты в развитии аппаратного обеспечения смещаются с задач создания быстрых вычислительных элементов на задачи создания энергоэффективных вычислительных элементов, из которых можно собирать сверхбольшие системы, и на задачи разработки соответствующего интерконнекта. Характерным примером служит история развития систем серии IBM Blue Gene, первая из которых была основана на заведомо слабом процессоре с тактовой частотой всего 700 МГц [2].

Одним из важных факторов развития вычислительной техники последнего десятилетия является использование в области высокопроизводительных вычислений GPU ускорителей, первоначально ориентированных на массовый сегмент рынка микроэлектроники (ускорители для видеоигр). Привлекательное соотношение "цена-производительность" обеспечило стремительный рост популярности подобного аппаратного обеспечения в области высокопроизводительных вычислений.

Другая сегодняшняя тенденция подобного рода -массовое использование процессоров ARM в маломасштабной вычислительной технике и, особенно, в современных смартфонах и планшетах [3]. Потребности рынка обуславливают рост производительности процессоров ARM при сохранении высокого уровня энергоэффективности. В последнем семействе процессоров ARM Cortex-A имеется возможность использования специального модуля для вычислений с плавающей точкой (VFP), что обуславливает их применимость для широкого спектра задач в области высокопроизводительных вычислений [4]. В данной работе мы анализируем производительность нескольких примеров процессоров семейства ARM Cortex-A, как с точки зрения пиковых характеристик и теста типа Linpack, так и для задач класси-\ast Работа была поддержана Программой фундаментальных исследований НИУ ВШЭ.

Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org ческой молекулярной динамики (МД).

На сегодняшний день задачи МД моделирования занимают важное место в числе приложений высокопроизводительных вычислений [5][6][7]. Подобные модели рассматривались в качестве одного из главных приоритетов при разработке суперкомпьютеров семейства IBM Blue Gene. Для развития алгоритмов параллельного решения математических задач на новейших суперкомпьютерах Департамент энергетики США (DOE) в 2006 г. существенно расширил программу Innovative and Novel Computational Impact on Theory and Experiment (INCITE), в рамках которой распределяются значительные гранты вычислительного времени. На задачи классической молекулярной динамики в рамках этой программы приходится примерно 1/5 часть, как по числу проектов, так и по выделенному вычислительному времени [2].

Наряду с разработкой теоретических основ метода МД моделирования [8] интенсивно растет число его применений в современных многомасштабных моделях в физике, химии, биологии, материаловедении и других областях, существенным образом основанных на описании процессов на атомистическом уровне. При этом даже достигнутый на сегодня рекордный размер моделей в триллионы частиц [9] соответствует, например, для металла при нормальной плотности объему всего в несколько мкм 3 . Задача увеличения максимальных доступных времен молекулярно-динамических расчетов еще сложнее [10]. Разработка подобных вычислительных методов неразрывно связна с прогрессом в суперкомпьютерных технологиях.

Во второй части описаны аппаратные и программные средства, используемые для тестирования производительности ARM-систем. В третьей части обсуждается реальная производительность на тесте RGBenchMM и пиковая производительность ARM-ядер. В четвертой части воедино сводятся данные тестовой молекулярно-динамической задачи для различных типов процессорных ядер, включая наши результаты для ARM Cortex-A5. В пятой части мы проводим сравнение энергопотребления серверов на процессорах Intel и ARM при решении тестовой молекулярно-динамической задачи.

Архитектура ARM -это микропроцессорная архитектура с сокращенным набором команд (Advanced RISC Machine). Архитектура одного семейства ARM процессоров может подразделяться на различные типы ядер. В данной работе мы рассматриваем семейство Cortex-A и ядра Cortex-A5, Cortex-A9 и Cortex-A15. Данные типы ядер не соответствуют строго определенным микросхемам, а представляют собой шаблоны с набором опций, по лицензии на которые микропроцессоры выпускаются различными производителями. В некоторых случаях шаблоны подвергаются определенным видоизменениям (например, ядра Scorpion и Krait). Рассматриваемые типы ядер включают модуль для вычислений с плавающей точкой (VFPv3 или VFPv4).

Основные результаты работы были получены на ODROID-C1. ODROID-C1 -это компактный миникомпьютер производства фирмы Hardkernel, который содержит четырехъядерный процессор Amlogic S805 Cortex-A5 с модулями VFPv4 на каждом ядре, а также графическим ускорителем Mali-450 MP2, который нами не использовался. Процессор функционирует на частоте 1. Кроме того, для анализа привлекались опубликованные ранее результаты тестов производительности и энергопотребления.

Тесты производительности микропроцессоров имеют продолжительную историю развития [11]. В области научных расчетов и математического моделирования de facto стандартом для описания производительности являются единицы Флопс (число операций с плавающей точкой в секунду). Измерение данной характеристики обычно связывается с тестом Linpack. Однако процессоры с архитектурой ARM первоначально ориентировались на целочисленные операции (см. [12] и ссылки в ней) их пиковая производительность в единицах Флопс не декларируется производителем (но, как показано ниже, может быть оценена по результатом специальных тестов).

Для тестов производительности алгоритмов классической молекулярной динамики использовался пакет LAMMPS и модель Леннард-Джонсовской жидкости (32 тыс. атомов при плотности 0.8442\sigma - 3 , обрезка Леннард-Джонсовского потенциала на расстоянии 2.5\sigma (в среднем 55 соседей на атом), 100 шагов по времени в NVE схеме интегрирования).

Для компиляции LAMMPS в OC Linux использовался компилятор GCC версии 4.9. Для компиляции использовались ключи -mcpu=cortex-a5 -mfpu=vfpv4-d16 -mfloat-abi=softfp (отличия по производительности от случая -mfloat-abi=hard оказались минимальными). Использовалась последовательная компиляция для запуска на одном ядре Cortex-A5 (без многопоточности). [13] ядро Cortex-A9 использует 1-2 такта на выполнение одной операции с плавающей точкой (Флопа), а ядро Cortex-A15 выполняет все типы подобных операций за 1 такт микропроцессора, включая операции fused multiply-add (FMA) или fused multiply-accumulate (FMAC).

Для ОС Android доступно тестовое приложение RGBenchMM [14], основанное на реализации процедуры типа DGEMM c возможностью распараллеливания на 2 и 4 потока. Данное приложение написано на С++ в Android NDK и лишено присущей Java программам в ОС Android заниженной производительности, в частности, исполняемый код в ключевых операциях использует специальные инструкции FMAC [15].

В таблице 1 представлены данные по абсолютной производительности R max в МФлопс на одно ядро и по относительной производительности (по отношению к тактовой частоте процессора) в единицах Флоп на один такт процессора.

Из таблицы видно, что, в отличие от приведенных выше данных [13] по пиковой производительности полученных в специализированных тестах, производительность рассматриваемых ядер Cortex-A9 и Cortex-A15 на приближенном к реальной задаче тесте RGBenchMM примерно в 2 раза меньше. Данное отличие связано с тем, что в реальных вычислениях значительное число тактов процессора уходит на загрузку данных из памяти в регистры. Мы видим, что подобные эффекты еще сильнее выражены для более "слабых" ядер Cortex-A5 и A8. Исходя из приведенных данных, представляется разумным считать пиковую производительность ядра Cortex-A5 равной 2-3 тактам на Флоп с учетом операций FMAC и 4-6 тактам на Флоп без учета FMAC. Для сопоставления различных микропроцессоров (и гетерогенных вычислительных элементов) между собой необходимо найти разумный "общий знаменатель". Эту роль, естественным образом, может играть пиковая производительность R peak [17]. На рис. 1 показаны времена расчета с помощью LAMMPS на 1 атом и на 1 МД шаг для модели Леннард-Джонсовской жидкости. Приведены данные тестов для 1 ядра (черные кружки) с сайта LAMMPS [18] для процессоров Intel Pentium II Over-Drive 333 МГц, DEC Alpha 500 МГц, PowerPC 440 700 МГц, Power4 1.3 ГГц и Intel Xeon 3.47 ГГЦ. В данном случае время расчета определяется устройством ядра микропроцессора и способностью компилятора создать эффективный исполняемый код. Все точки (кроме квадрата) соответствуют одному и тому же программному коду LAMMPS на C++, но разным типам и версиям компиляторов. Видно, что результаты для процессоров Intel и DEC хорошо соответствуют соотношению (1). Если значения пиковой производительности для процессоров IBM отмасштабировать, чтобы исключить из R peak операции FMA, не использующиеся в классическом МД алгоритме, то соответствующие точки также прекрасно ложатся на общую зависимость 6.84\cdot 10 3 Флоп/R peak (сплошная прямая на рис. 1).

Показаны результаты тестов [17] на суперкомпьютере МГУ им. М. В. Ломоносова "Ломоносов" без векторизации кода (открытый кружок) и на суперкомпьютере МСЦ РАН МВС-10П без векторизации (кружок с и с векторизацией кода (квадрат) с использованием модуля USER-INTEL. В этом случае LAMMPS был скомпилирован Intel C++ с учетом ручной векторизации алгоритма подсчета сил, ориентированного на микроархитектуру Intel Xeon (пакет USER-INTEL в LAMMPS). Результатом подобной оптимизации кода является ускорение расчетов в 2 раза, соответствующее 3.36 \cdot 10 3 Флоп/R peak (пунктирная прямая на рис. 1).

В отличие от процессоров других фирм для ARM Cortex-A5 значение R peak не декларируется производителем. Прямоугольники на рис. 1 показывают результаты тестов LAMMPS на ARM Cortex-A5 с учетом не полной определенности его пиковой производительности, с учетом поправки на операции FMA и с учетом отличия времен расчета для случая 1-ой копии LAMMPS, запущенной на процессоре (5.95 мкс/атом/шаг), и случая 4-х одновременно работающих копий на 4-х ядрах ARM Cortex-A5 (7.8 мкс/атом/шаг).

Видно, что архитектура Cortex-A5 совместно с компилятором GCC 4.9 обеспечивает высокую эффективность использования аппаратных ресурсов для операций с плавающей точкой. При скромных абсолютных значениях производительности соотношение времени расчета и пиковой производительности ядра процессора находится на уровне результатов Intel Xeon c ручной векторизацией. Однако в случае Cortex-A5 для ее достижения не потребовалось доработка программного кода.

Для ядра Cortex-A15 значение пиковой производительности хорошо определено [13]. Оценку времени расчета LAMMPS на системе, аналогичной Samsung Nexus 10, можно сделать по результатам для ODROID-C1, исходя из их соотношения R max (см. таблицу 1). Рис. 1 показывает, что для Cortex-A15 можно ожидать производительности LAMMPS несколько большей, чем у процессора IBM Power4. Таблица 2 свидетельствует о том, что расчеты МД задач на системах с процессорами ARM Cortex-A требуют примерно в 5 раз меньше энергии, чем расчеты на последних моделях процессоров Intel.

Проанализированы результаты теста RGBenchMM, аналогичного тесту Linpack, для различных систем на основе процессоров с ядрами ARM Cortex-A, включая смартфоны и миникомпьютер ODROID-C1. Сделана оценка пиковой производительности ядра Cortex-A5 в ODROID-C1.

Результаты расчетов с помощью кода LAMMPS тестовой МД задачи проанализированы в контексте производительности других типов процессоров и метрики "время расчета -пиковая производительность". Показана высокая эффективность использования аппаратных возможностей операций с плавающей точкой в архитектуре Cortex-A в комбинации с компилятором GCC 4.9. Скорость расчета LAMMPS на ядрах ARM Cortex-A в 2 раза выше, чем на процессорах других архитектур с той же пиковой производительностью, причем при отсутствии необходимости по доработке программного кода.

Проведены измерения энергопотребления миникомпьютера ODROID-C1. Сделанные оценки показывают 5-ти кратное преимущество по энергопотреблению систем на основе ядер ARM Cortex-A на рассматриваемой тестовой МД задаче по сравнению с архитектурами Intel Ivy Bridge и Haswell. Литература 1. Sadovnichy V., Tikhonravov A., Voevodin V., Opanasenko V.