ИСПОЛЬЗОВАНИЕ СОПРОЦЕССОРОВ INTEL XEON PHI В ГРИД-СИСТЕМАХ ИЗ ПЕРСОНАЛЬНЫХ КОМПЬЮТЕРОВ*

-

THE USE OF INTEL XEON PHI COMPRESSOR IN THE DESKTOP GRID SYSTEMS

Using desktop grid system is one of the most common ways to organize distributed computing. The most popular BOINC platform was used to organize a desktop grid system. It is suggested to use not only universal processors and video cards on computing nodes of such a grid system, but also specialized Intel Xeon Phi coprocessors. The use of specialized coprocessors has certain features that have been demonstrated in the framework of a numerical experiment on a distributed system. The active project of voluntary distributed computing was used to conduct the numerical experiment. As an applied problem for a numerical experiment, the problem of searching for diagonal Latin squares of order 9 was taken. The presence of a large number of desired squares allows us to use this problem as a test for evaluating the efficiency of various coprocessors. The Xeon Phi performance estimates for the adapted MPI application are discussed. The dependence of the number of generated diagonal

Latin squares per second on the number of logical cores used is shown. The performance of the Введение specialized Intel Xeon Phi 5110p coprocessor with the universal Intel Xeon processor E5-1650 is compared.…

Distributed computing; desktop grid; BOINC; Intel Xeon Phi; diagonal Latin squares.

В рамках распределенных вычислений, представляющих собой способ решения трудоемк вычислительных задач с использованием компьютеров, объединенных в вычислительную систем особый интерес представляют -гсриисдтемы из персональных компьютеров(ГСиПК)добровольные распределенные вычисления (volunteer computing). Добровольными распределенными вычислениями называются вычисления с использованием добровольно предоставленных вычислительных ресурсов, организованных в ГСПК.

Существует несколько платформя долрганизации распределенных вычислений: Globus [ 1 ], HTCondor [ 2 ], Legion, но самой распространенной на текущий момент является BOINC [ 3 ] [ 4 ].

На базе платформы BOINC развернуто около сотни публичных международных проек добровольных распределенных вычлиенсий, к которым подключены около 16 миллионов компьютеров по всему ми[р4у]. Платформа BOINC имеет архитектуру -скелривенр.т

Подавляющее большинство проектов добровольных распределенных вычи–снлаеунчинйые проекты ведущих мировых университетов и науочрнгаынхизаций. Один проект добровольных распределенных вычислений может выполнять один или несколько экспериментов. Эксперименты в проекте объед общая тематика, кроме того, они проводятся одной научной группой.

Примерами действующих международных зчоннытих проектов могут служить World Community Grid, LHC@home и Einstein@home. На текущий момент, именно они являются одними из крупнейших про по количеству активных вычислительных [у4з].лов Как работает BOINC-проект

Большинство проектов добровольныыхчивслений организуются для решения одной научной задачи. Для решения задачи требуется проведение серии численных экспериментов. Задача, как правило, разбиваться на множество независимых подз5а]д.ач Ка[ждая подзадача будет рассчитываться на отдельном вычислительном узле распределенной системы. У большинства проектов единственное приложение для проведения одного или серии вычислительных экспериментов. Для различных под используются различные наборы входных данных. Такой тип задач в ливтаертсаятур«еbagназoыf tasks» [ 6 ] или задача, разделяемая по данным. В качестве примера таких задач можно привест комбинаторики [ 7 ] и полного перебора-,задSаAчTи [ 8 ], некоторые задачи машинного обучения, задачи имитационного математического моделирован[и9я] и др.

В большинстве международных проектов добровольных распределенных вычислений на платфор BOINC расчеты проводятся, либо с использованием центрального процессора, либо с возможнос задействовать вычислительные мощности установленного в сиисдтееомаедапвтера AMD или NVIDIA через один AиPзI: OpenCL или CUDA. Сопроцессор Intel Xeon Phi

Сопроцессоры Xeon Phi являются относительно новым решением фInиtрeмl ыдля ускорения расчетов различных научных и инженерных задач, особенностью которых явлоякеатяся ствеыпсень распараллеливания. Данные сопроцессоры являются вариантом реализации архиInтtеeкlтMуIрCы(Intel Many Integrated Core Architecture), которая предполагает использование множества (от нескольких десятков) универсальных процессоров с архитйекxт8у6ро в составе одного вычислительного устройства с общей памятью. В качестве дополнительных особенностей в этой архитектуре предполаг использование специальных расширенных наборов коSмIMанDд(Single Instruction – Multiple Data) для работы с вектормниы операндами размером до 512 бит. В рассматриваемом решении с архитектуро названием Knight Corner (KNC), используется специальное расширеSнI MиеD MIC, а в новых, только что появившихся на рынке решениях с архитеKкnтiуgрhоtйLanding (KNL) – набор коамнд SIMD AVX-512, совместимый (за некоторыми исключениями) с наборомAVкXо-м51а2нд для центральных процессоров Xeon поколения SkyLake и будущих поколенийCann(onlake и др.). СопроцессорIыntel Xeon Phi реализованы в качестве стандартной карты расшириенитеярфесйсом PCI Express x16 Gen2 (с несколькими вариантами используемого конструктива) и установленными непосредственно на плате ГБ или 16 ГБ оперативной памяти, в вариантах с активным или пассивным охлаждением. поколении (со)процессоровIntel Xeon Phi KNL, предусмотрен вариант их использования в качестве центрального процессора вычислительной платформы, что позволяет непосредственно использовать многократно больший объем оперативной памяти, а также избавляет от ограничений, накладыва подключением к системе по PшCIиeн.е

Изначально архитектурMаIC разрабатывалась компаниейIntel под названиемLarrabee, как решение для ускорения расчетов, связанных с построением и отображением двумерных и трехмерных графи изображений, для замены исполмьозгуое графического процессоIрnаtel GMA. Также, в современных вариантах архитектурыIntel MIC, используются наработки из проектов многоядерных проInцtеeсlсоров Teraflops Research Chip и Intel Single-chip Cloud Computer. Наиболее существенным отличием этого решения от решений, предлагаемых производителями графических про–цNесVсIоDрIоAви AMD (ATI), является использование в качестве вычислительных ядер универсальных процессоров со стандарт архитектурой. В результате этого существенно упрощается изхованиисеп,ольа также адаптация существующего программного обеспечения для научных и инженерных расчетов. Кроме того, эффективного решения многих задач желательно использовать именно процессоры с полноценн набором инструкций, включающим комплексный унпарбаоврляющих команд. И, в конечном итоге, было принято решение использовать данную архитек–тумрнуогоядерный универсальный процессор, в качестве ускорителя для решения вычислительных задач.

Подобные ускорители используются на текущий момент во мнсоожкеосптрвоеизввоыдительных вычислительных систем по всему миру, начиная от небольших вычислительных кластеров, до м суперкомпьютерных решений, как, например, входящTOийP-50в0 суперкомпьютерTianhe-2. Данный суперкомпьютер занимал первое место в миориезвопдоитеплрьности с июня 2013 по ноябрь 2015 года, и покинул его, исключительно благодаря ограничениям на поставку обновленной элементной Однако, в качестве вычислителей для распределенных вычислений, эти сопроцессоры практически использовались. Тестовый стенд компилятор C++ для архитектур Intel 64, Intel IA-32 и Intel Many Integrated Core (Intel MIC – архитектура сопроцессоров Intel Xeon Phi), а также Microsoft Visual Studio 2015 Update 3. Производительность приложения исследовалась под управленипеемрацоионных систем Microsoft Windows 10 Pro и Microsoft Windows Server 2012 R2.

Вычислительное приложение предназначено для перечисления диагональных латинских квадратов (ДЛК, англ. DLS) порядка 9 [ 10 ]. В качестве рабочего набора данных для льпзуреитлсояжения исп текстовый файл, в каждой строке которого приведены заранее сгенерированные жес детерминированные значения ключевых элементов матрицы размерностью 9. Эти наборы значе используются для построения всех возможных комбинаций ДЛК порядкагене9р. ацЗиаидачДаЛК на основе наборов ключевых элементов может быть разделена на множество автономных подзадач: ДЛК на основе одного н–аобдонраа подзадача. Каждая подзадача выполняется в оMтдPеIл-пьрнооцмессе.

В процессе работы приложения, для катжродкоий рсабочего файла, непосредственно после приведенных исходных данных, сохраняется количество найденных в процессе перечисления ДЛ также общее время, затраченное на поиск всех ДЛК для этих исходных данных. Оценка производительности

453 729 88 819 961

440 016 87 598 813 2 073 384 4 535 049 45 178 456 Термин «поток» при оценке производительности используется в связи с тем, Iчnтteоl Xeсoоnпроцессор Phi 5110P при оценке производительности оперирует именно этим понятием. Следует заметить, что одного MPI-процесса выделяется одно ичлеосгкое ядро на процессоре или сопроцессоре.

В результате применения модифицированного метода измерения производительности получены результаты (Рисунок 1). Рисунок 1. Производительность Phi 5110P После анализа результатов можно сформулироватьющсилеедуутверждения: • Производительность однопоточных вычислений для даMннPоIгпориложения, при исполнении на сопроцессореIntel Xeon Phi Coprocessor 5110P, практически на порядок (о–к7олораз6) ниже, чем производительность при исполнении на центральномессопрреоIцntel Xeon Processor E5-1650.

• При этом максимальная полученная суммарная многопоточная производительность для сопроцессора примерно в два раза выше производительности центрального процессора.

• При выборе оптимального количества задействоваMннPыIхпроцессов следует провести предварительное тестирование для каждого конкретного случая и используемого алгоритма.

• Например, несмотря на то, что производитель рекомендует для соIпnрteоlцXеeсoсnорPоhвi x100 исходить из расчета исполнения 4 потоков днрао о(двInнtоel Xяeon Phi Coprocessor 5110P – 60 ядер, то есть всего 240 потоков), получены ярко выраженные максимумы производительности–12в0, районе 1 173–177, 223–234 и т.Mд.PI процессов (включая управляющий). Причем абсолютный максимум производительности достигается при –117775MPI процессах (то есть при исполнении 3 потоков на ядр подробности далее).

• Увеличение количества процессов хотя бы на один от зоны максимальной производительн приводит к резкому падению производительности и постепенвннооммуу прлоасту при дальнейшем увеличении (до следующего максимума).

• В документации производителя сказано, что одно ядро сопроцессора целиком отводится исполнения собственного кода операционной системы, обслуживания прерываний и т.д. Получен результаты показывают, что как минимум еще некоторое количество вычислительных ресурс используется системой для целей управления выполMнеPнIипермиложения. Это хорошо заметно по смещению, в сторону уменьшения количества потоков, областей максимальной прнооисзтвиодиптреиль увеличении количествMаPI процессов.

• При этом при достаточном количестве вычислительных ресурсов (когда MкPоIлпиочтеосктовво не более, чем M3IC∙Co(r<es> – 1), максимумы производительности практически точно вычисляются по формуле:

MPI Ranks ≈ N(<MIC Cores> – 1), при N ≤ .4 Заключение Продемонстрированная сопроцессором

Intel

Xeon

Phi производительность при

многопоточных параллельных вычислениях показала значительное (в несколько раз) преимущество процессором, несмотря на бовлыесеокую (от-105 раз) производительность центрального однопоточном режиме. Существуют определенные особенности, которые следует разработке вычислительных приложений InдtлeяlXeon Phi. Таким образом, можно утверждать перспективах применения сопроцессороInвtel Xeon Phi при решении задач в -сигсртиедмах персональных компьютеров в рамках проектов распределенных вычислений не только BOINC, но и на други-хсисгтреимдах. из на Благодарности

Авторы генерации Работа выражают благоднаорсть Заикину диагональных латинских квадратов. поддержана грантом РНФ -1(1№-1106352).

и Ватутину Э.И. консультации

References

metacomputing infrastructure toolkit”// International Journal of High Performance C Об авторах: Альбертьян Александр Михайлович, ведущий инже н,еФр едеральный исследовательский центр «Информатика и управление» Российской академииadmнiаnу@к,isa.ru Курочкин Илья Ильич, кандидат технических наук, старший научный сотрудник лаборатории Ц-1, Институт проблем передачи информации им. А.А. Харкевича Российской акад, емии [e-mail]

References

1. I Foster , C Kesselman “ Globus: A metacomputing infrastructure toolkit”// IrnntearlnoaftiHoingahl PeJrofuormance Computing Applications 11 ( 2 ), 1997 , pp. 115 - 128 .

2. M.J. Litzkow , M. Livny , M.W. Mutka-a “Chounndtoer of idle workstations” // Distributed Computing Systems , IEEE, 1988 .

3. D.P. Anderson “BOINC: a system f-orresopuurbcelicomputing and storage” // Grid Computing, IEEE, 2004

4. . The server of statistics of voluntary distributed computing projects on the BOINC platform . [электронный ресурс] // URL: http://boincstats. com (дата обращения 23.04 . 2017 ).

5. Benoit , et al., Scheduling Concurrent Bag-of-Tasks Applications on Heterogeneous Platforms // IEEE Trans. Computers , vol. 59 , no. 2 , 2010 . pp. 202 - 217 .

6. Choi S. J. et al. Characterizing and classifying desktop grid // Cluster Computing and the Grid , 2007 . CCGRID 2007. Seventh IEEE International Symposium on. - IEEE , 2007 . - pp. 743 - 748

7. Vatutin , E. I. , Valyaev , S. Y. , & Titov , V. S. ( 2015 ). Comparison of Sequential Methods for Getting Separations of Parallel Logic Control Algorithms Using Volunteer Computing . // BOINC:FAST- 2015 .

8. Posypkin M. , SemenovA. Zaikin O. Using BOINC desktop grid to solve large scale SAT problems . // Computer Science, 13 ( 1 ), 2012 . pp. 25 - 34 .

9. Kurochkin I. , Grinberg Ya ., Different Criteria of Dynamic Routing // Procedia Computer Science, Volume 66 , 2015 , pp 166 - 173

10. Zaikin O. and Kochemazov S.. The Search for Systems of Diagonal Latin Squares Using the SAT@home Project // International Journal of Open Information Technologies . Vol. 3 , No. 11 ( 2015 ). pp. 4 - 9 .

1. I Foster , C Kesselman “ Globus: A Applications 11 ( 2 ), 1997 , pp. 115 - 128 .

2. M.J. Litzkow , M. Livny , M.W. Mutka “ Condo-ar hunter of idle workstations” // Distributed Computing Systems , IEEE, 1988 .

3. D.P. Anderson “BOINC: a system f-orresopuurbcelic computing and storage” // Grid Computing, IEEE, 2004

4. . The server of statistics of voluntary distributed computing projects on the BOINC platform . [электронный ресурс] // URL: http://boincstats. com (дата обращения 23.04 . 2017 ).

5. Benoit , et al., Scheduling Concurrent Bag-of-Tasks Applications on Heterogeneous Platforms // IEEE Trans. Computers , vol. 59 , no. 2 , 2010 . pp. 202 - 217 .

6. Choi S. J. et al. Characterizing and classifying desktop grid // Cluster Computing and the Grid , 2007 . CCGRID 2007. Seventh IEEE International Symposium on. - IEEE , 2007 . - pp. 743 - 748

7. Vatutin , E. I. , Valyaev , S. Y. , & Titov , V. S. ( 2015 ). Comparison of Sequential Methods for Getting Separations of Parallel Logic Control Algorithms Using Volunteer Computing . // BOINC:FAST- 2015 .

8. Posypkin M. , SemenovA. Zaikin O. Using BOINC desktop grid to solve large scale SAT problems . // Computer Science, 13 ( 1 ), 2012 . pp. 25 - 34 .

9. Kurochkin I. , Grinberg Ya ., Different Criteria of Dynamic Routing // Procedia Computer Science, Volume 66 , 2015 , pp 166 - 173

10. Zaikin O. and Kochemazov S. The Search for Systems of Diagonal Latin Squares Using the SAT@home Project // International Journal of Open Information Technologies . Vol. 3 , No. 11 ( 2015 ). pp. 4 - 9 .

Albertian Alexander M. , engineer, Federal Research Center Computer Science and Control of the Russian Academy of Sciences, [e-mail] Kurochkin Ilya I., Candidate of Engineering Sciences, senior researcher of the laboratory C-1, Kharkevich Institute for information transmission problems of Russian Academy of Sciences, kurochkin@iitp .ru