В статье предлагаются методы редукции производительности, составляющие основу разрабатываемой технологии ресурсонезависимого программирования вычислительных систем гибридного типа, содержащих реконфигурируемые и микропроцессорные вычислительные узлы. Для описания различных форм организации параллельных вычислений - от структурной формы, характерной для реконфигурируемых вычислительных узлов, через структурно-процедурную и мультипроцедурную к процедурной форме организации вычислений для микропроцессорных узлов - используется язык программирования высокого уровня COLAMO. Преобразования между различными формами организации вычислений для быстрой автоматизированной адаптации прикладной программы под изменившуюся конфигурацию аппаратного ресурса вычислительной системы выполняются с помощью методов редукции производительности. Ключевые слова: редукция производительности, язык программирования высокого уровня, программирование вычислительных систем гибридного типа, технологии ресурсонезависимого программирования.
граммирования C, С++, FORTRAN, учитывающие архитектуру специализированного микропроцессорного узла. К существенным недостаткам этих технологий программирования относятся плохая переносимость готовых решений между ВС различной архитектуры и конфигурации и плохая масштабируемость программ. Основной причиной указанных недостатков является подход к программированию ВС, при котором осуществляется разбиение задачи на отдельные фрагменты, каждый из которых реализуется на отдельном узле (на отдельном устройстве) гибридной вычислительной системы. Таким образом, выполняется независимое программирование каждого задействованного узла ВС, в результате чего любое изменение конфигурации ВС или изменение исходного кода прикладной программы приводит к необходимости повторного разбиения задачи на фрагменты и созданию локальных программ для каждого узла ВС. В настоящее время широкое применение вычислительных систем гибридного типа для решения практических прикладных задач сдерживается высокой сложностью программирования, поскольку для эффективного использования архитектурных преимуществ всех вычислительных узлов ВСГТ необходима разработка подпрограмм для каждого узла ВСГТ с учетом различных вариантов организации вычислений.
Поэтому целью описанных в статье научных исследований является сокращение времени разработки и портации параллельных прикладных программ для ВСГТ с возможностью простой и быстрой адаптации прикладной программы под изменившуюся архитектуру или конфигурацию ВСГТ. 2. Технология ресурсонезависимого программирования ВСГТ Для программирования ВСГТ необходимы как средства описания различных вариантов организации вычислений в едином для различных архитектур языковом пространстве, так и средства трансляции параллельных прикладных программ, объединенные в технологию ресурсонезависимого программирования ВСГТ.
Под технологией программирования понимается совокупность обобщенных и
систематизированных научных знаний об оптимальных способах (приемах и процедурах) проведения
процесса программирования [
Определим объект исследований – ВСГТ – более формально, поскольку зачастую к вычислительным системам гибридного типа относят гетерогенные вычислительные системы. Это приводит к тому, что для программирования ВСГТ используют технологии программирования, предназначенные для программирования гетерогенных ВС.
Гетерогенная ВС содержит архитектурно-одинаковые вычислительные узлы разных типов с одинаковым типом организации вычислений и способом обработки информации. Типичным примером таких систем являются системы, содержащие одновременно как микропроцессоры, так и графические процессоры.
ВС гибридного типа содержит архитектурно-различные вычислительные узлы с различным типом организации вычислений и одинаковым способом обработки информации. Примером таких систем являются вычислительные устройства с микропроцессорами и кристаллами ПЛИС в едином контуре, которые и являются предметом рассмотрения в рамках настоящей статьи.
Для обеспечения функционирования унифицированных процессорных и реконфигурируемых вычислительных узлов в едином контуре языковые средства разрабатываемой технологии ресурсонезависимого программирования должны обеспечивать возможность описания фрагментов с различными типами организации вычислений, в том числе работающих с различными частотой, скважностью и разрядностью обрабатываемых данных, а также содержать гибкие и мощные средства масштабирования как фрагментов вычислений, так и числа операций в каждом фрагменте. Методы масштабирования должны обеспечивать возможность как увеличения параллелизма задачи (индукцию) при увеличении аппаратного ресурса, так и возможность сокращения (редуцирования) при сокращении вычислительного ресурса. Авторам не удалось найти в открытых печатных источниках описаний технологий программирования ВСГТ для реконфигурируемых и микропроцессорных вычислительных узлов, обеспечивающих в автоматическом режиме как индукцию, так и редукцию параллельных программ. Поэтому представленная технология программирования базируется на опыте разработки систем программирования для РВС на основе кристаллов ПЛИС, полученном в ходе выполнения ряда научных и опытно-конструкторских работ в НИИ МВС ЮФУ.
Можно сформулировать ряд требований к технологии ресурсонезависимого программирования ВСГТ. Технология ресурсонезависимого программирования ВСГТ должна: - обеспечивать поддержку различных форм организации вычислений (структурные, структурно-процедурные, мультипроцедурные вычисления и их различные сочетания) в едином вычислительном контуре;
- обеспечивать возможность программирования унифицированных процессорных и реконфигурируемых вычислительных узлов в едином вычислительном контуре;
- обеспечивать программирование в едином языковом пространстве на языке программирования высокого уровня;
- обеспечивать возможность простого масштабирования прикладной программы как для случая увеличения, так и для случая сокращения доступного аппаратного ресурса; - должна обеспечивать возможность простой и быстрой адаптации прикладной программы, разработанной для одной конфигурации ВСГТ, под другую конфигурацию ВСГТ, в том числе при добавлении узлов новой архитектуры;
- обеспечивать портацию ресурсонезависимой параллельной программы с помощью перетрансляции без существенной корректировки исходного текста.
Для реализации технологии ресурсонезависимого программирования ВСГТ необходимо выбрать язык программирования, который позволит описывать различные формы организации вычислений и программировать унифицированные процессорные и реконфигурируемые вычислительные узлы в едином вычислительном контуре.
Специализированные языки высокого уровня для программирования реконфигурируемых вычислительных систем (РВС) обладают привычным для большинства программистов персональных ЭВМ синтаксисом языка С и отличаются между собой семантическими особенностями вызова и использования операторов. Для описания параллельных процессов в РВС в этих языках используется изначально последовательная парадигма языка С, семантика которого ориентирована на взаимодействие последовательных процессов, что не позволяет в полной мере использовать все возможности РВС при разработке параллельных программ на этих языках. Это приводит к семантическому разрыву между исходным информационным графом задачи, его описанием на языке высокого уровня и созданной транслятором схемотехнической реализацией. Результатом этого разрыва является существенное снижение эффективности параллельной программы - как правило, в 3-5 раз более низкая производительность по сравнению с приложениями, разработанными на языках HDL-группы.
Перспективным направлением в области программирования РВС является язык высокого
уровня COLAMO[
Для описания на языке COLAMO процедурной организации вычислений на универсальных
процессорах и возможности быстрого перехода от процедурной реализации вычислений на
универсальных процессорах к структурной организации вычислений на реконфигурируемых
вычислительных узлах в языке COLAMO существует конструкция Implicit. Конструкция
Implicit является конструкцией с неявным указанием реализуемой в фрагменте формы
организации вычислений (принадлежности к структуре или процедуре). Такой фрагмент может быть
реализован либо процедурно, либо структурно. Переопределение способа реализации
конструкции Implicit позволяет прикладному программисту без существенного изменения текста
параллельной программы перейти от структурной организации вычислений к процедурной и
обратно. Наличие конструкций описания как структурных, так и процедурных фрагментов
вычислений прикладной задачи дает возможность программисту создавать единую прикладную
программу для всех узлов ВСГТ, что позволяет рассматривать язык программирования
высокого уровня COLAMO [
Однако для эффективного программирования ВСГТ языковые средства должны иметь возможность описания фрагментов вычислений, работающих с различной частотой, скважностью и разрядностью обрабатываемых данных для обеспечения масштабирования как фрагментов, так и отдельных устройств не только при увеличении аппаратного ресурса, но и при его сокращении, а также возможность работы с данными переменной разрядности для эффективного использования аппаратного ресурса ВСГТ. 3. Редукция производительности как способ масштабирования вычислений ВСГТ
Основой для простого масштабирования и адаптации прикладной программы как для случая увеличения, так и для случая сокращения доступного аппаратного ресурса, является редукция производительности прикладной программы, под которой понимается пропорциональное сокращение производительности во всех без исключения фрагментах информационного графа задачи с возможным сокращением аппаратных затрат на реализацию вычислительной структуры. Редуцирование производительности параллельных программ позволяет изменять ключевые параметры параллельных программ, поскольку структурная реализация задачи может привести к нехватке доступного аппаратного ресурса, что особенно актуально при переносе задачи на гибридные вычислительные системы различных архитектур и конфигураций. Возможны следующие виды редукции: - редукция производительности по вычислительным устройствам; - редукция производительности по каналам памяти; - редукция производительности по разрядности; - редукция производительности по частоте.
Редукция производительности по вычислительным устройствам основана на сокращении одновременно выполняемых устройств, реализующих вычислительные операции. Иллюстрация принципов функционирования редукции производительности на примере операции быстрого преобразования Фурье представлена на рис. 1 и 2. На рис. 1-а представлен исходный информационный граф операции быстрого преобразования Фурье, содержащий 16 вычислительных устройств, а на рис. 1-б представлена структурная реализация этой операции на РВС с условным заполнением ПЛИС (в допущении, что два вычислительных устройства занимают ресурс одного кристалла ПЛИС). При выполнении редукции производительности по функциональным устройствам осуществляется пропорциональное сокращение числа одновременно работающих устройств, что приводит как к сокращению производительности, так и к сокращению занимаемого аппаратного ресурса. Степень редукции производительности задает коэффициент сокращения параметра редукции. Результат редукции производительности по функциональным устройствам со степенью 2 для базовой операции быстрого преобразования Фурье представлен на рис. 2.
В представленном на рис. 2 примере видно, что число функциональных устройств сократилось вдвое (до восьми8) и результат операции получается не за один такт работы (для структурной реализации, см. рис. 1), а не менее, чем за два такта работы.
Редукция производительности по вычислительным устройствам может быть реализована в виде:
1) однокадровой параллельной программы с использованием мультиплексоров и скважности, равной степени выполняемой редукции; 2) многокадровой программы с использованием конструкции Let; 3) мультикадровой программы с использованием конструкции MultiCadr.
Re[Ct ]
Re[WВ] (3) Re[Ct ]
Re[WБ ] (15) Re[WT ]
Re[At ] Re[Bt] Im[At] Im[Bt] Re[At] Re[Bt] Im[At] Im[Bt] + + + + + + + + РВУ 3 РВУ 4 Редукция производительности по функциональным устройствам в виде однокадровой программы заключается в реализации вычислений с помощью одного кадра и набора мультиплексоров, обеспечивающих управление информационными потоками данных, которые подаются в вычислительную структуру со скважностью, равной степени выполняемой редукции. Для описания редукции по вычислительным устройствам в виде однокадровой параллельной программы в язык высокого уровня была введена директива Reduction of Device следующего вида: #Reduction of Device X;
Блок операторов EndReduction;, Здесь и далее Х - степень выполняемой редукции, а блок операторов содержит список операторов, для которых будет выполняться редукции производительности.
Редукция по функциональным устройствам в виде мультикадровой программы позволяет перейти от структурной реализации задачи к структурно-процедурной при недостаточном аппаратном ресурсе для структурной реализации задачи. Для реализации перехода от структурной организации вычислений к структурно-процедурной организации, обеспечивающего эффективное масштабирование параллельной программы, в язык высокого уровня COLAMO вводится новая директива для описания редукции по функциональным устройствам в виде мультикадровой программы. Мультикадр – это кортеж вычислительных структур, представленных в виде подкадров, с описанием функций чтения и записи для каждого из них, переключение между которыми осуществляется каждый условный такт работы. Важным отличием мультикадра от кадра является отсутствие необходимости в глобальной синхронизации информационных потоков данных при смене вычислительных структур.
Для описания редукции производительности по устройствам в виде мультикадровой программы введена конструкция следующего вида: #Reduction of MultiCadr X;
Блок операторов EndReduction;, Редукция производительности по функциональным устройствам в виде многокадровой программы применяется в случае нехватки вычислительного аппаратного ресурса для реализации редукция производительности по функциональным устройствам в виде однокадровой программы и недостаточного количества каналов памяти для реализации редукции производительности по функциональным устройствам в виде мультикадровой программы.
Редукция производительности по функциональным устройствам в виде многокадровой программы заключается в реализации вычислений с помощью неизменяемой структуры LET и нескольких кадров, в каждом из которых через структуру LET проходит поток данных, а обмен промежуточными данными осуществляется через дополнительную память. Для описания редукции по вычислительным устройствам в виде многокадровой программы с использованием конструкции Let в язык высокого уровня предлагается директива вида: #Reduction of Let X;
Блок операторов EndReduction;.
Одним из важнейших типов редукции, обеспечивающих возможность ресурсонезависимого программирования ВСГТ, является редукция производительности по каналам памяти. Для описания редукции по каналам памяти предлагается использование в языке COLAMO следующей директивы: #Reduction of Channel (Type) X;,
Блок операторов
EndReduction;, где ключевое слово «Channel» указывает на выполнение редукции по каналам памяти, а параметр Type указывает на выбранный способ редукции. Все каналы памяти можно разделить на входные и выходные каналы, редукция для которых может быть выполнена независимо друг от друга. Поэтому сокращение каналов памяти можно выполнить тремя способами: - редукцией входных каналов (задается ключевым словом Input); - редукцией выходных каналов (задается ключевым словом Output); - редукцией входных и выходных каналов (задается ключевым словом All).
Редукция каналов памяти заключается в объединении каналов в один общий канал путем смешивания данных или путем последовательного объединения данных друг за другом.
Редукция производительности по разрядности направленна не на сокращение устройств в вычислительной структуре, а на сокращение разрядности обрабатываемых данных за счет использования устройств меньшей разрядности, что приводит к сокращению аппаратных затрат на реализацию вычислительной структуры. При выполнении редукции производительности по разрядности управление информационными потоками данных осуществляется мультиплексором, а сами данные подаются в вычислительную структуру со скважностью, значение которой равно степени выполняемой редукции. Для описания редукции по разрядности на язык высокого уровня COLAMO предлагается использование конструкции вида: #Reduction of Bit X; Блок операторов EndReduction; Редукция производительности по частоте, в отличие от рассмотренных редукций, предназначена для замедления работы вычислительных устройств на величину, равную степени выполняемой редукции, при этом скважность подачи данных в вычислительную структуру остается неизменной. Как правило, редукция производительности по частоте применяется для согласования скоростей обработки между редуцированными и нередуцированными фрагментами информационного графа в структуре прикладной задачи. Для описания редукции производительности по частоте в язык высокого уровня предлагается конструкция вида: #Reduction of Frequency X;
Блок операторов
EndReduction;, где Х - степень выполняемой редукции, а блок операторов содержит список операторов, для которых будут выполняться редукции производительности по разрядности. 4. Заключение
Для эффективного программирования вычислительных систем гибридного типа предложено использование языка программирования высокого уровня COLAMO как основы разрабатываемой технологии ресурсонезависимого программирования ВСГТ. Возможность описания в едином вычислительном контуре различных форм организации параллельных вычислений в совокупности с разработанными методами редукции производительности прикладной программы позволяет обеспечить ресурсонезависимость программирования ВСГТ, т.е. возможность простой и быстрой адаптации прикладной программы под изменившуюся архитектуру или конфигурацию ВСГТ. Предложенное расширение языка COLAMO обеспечивает пользователя набором необходимых средств для быстрой разработки эффективных ресурсонезависимых масштабируемых параллельных программ в едином языковом пространстве, что снижает сложность программирования ВСГТ и повышает скорость разработки параллельных прикладных программ при рациональном использовании узлов ВСГТ с разной архитектурой. Литература Programming of hybrid computer systems based on the performance reduction method*
A.I. Dordopulo1, I.I. Levin2, I.A. Kalyaev1, V.A. Gudkov1, A.A. Gulenok1 Scientific Research Institute of Multiprocessor computer systems at Southern Federal University1, “Scientific Research Centre of Supercomputers and Neurocompuiters” Co Ltd2 The paper considers methods of performance reduction, which, along with the high-level programming language COLAMO, are the basis of the developed technology of resourceindependent programming of hybrid computer systems consisted of reconfigurable and microprocessor computational nodes. Owing to the language COLAMO it is possible to describe various forms of organization of parallel calculations – from the structural form typical for reconfigurable computational nodes, then to structural-procedural and multiprocedural forms, and at last to procedural forms of organization of calculations, used for microprocessor nodes. Transformations between these various forms of organization of calculations for fast computer-aided adaptation of the application to the modified configuration of hardware resource of the computer system is performed with the help of the methods of performance reduction. * This paper was financially supported in part by the Ministry of Education and Science of the Russian Federation under Grant № 14.578.21.0006 from 05.06.2014, ID RFMEFI57814X0006