О задаче делегирования нагрузки высокопроизводительных вычислительных комплексов в распределенные сети

Abstract

Предлагается стратегия объединения высокопроизводительных вычислительных комплексов и гетерогенных неотчуждаемых ресурсов компьютерного парка предприятия, которая позволяет сократить временные издержки при ожидании вычислительных задач в очереди и, таким образом, повысить качество сервиса. Предложена формализация планирования параллельных заданий в контексте делегирования нагрузки высокопроизводительных вычислительных комплексов в грид-системы с неотчуждаемыми ресурсами. Разработана архитектура системы управления заданиями на основе виртуализации. Ключевые слова: распределенные вычисления, вычислительный грид, неотчуждаемые ресурсы, параллельные вычисления, алгоритмы планирования.

-

задержки во взаимодействии удаленных узлов, предъявляющих требования к максимальному разбиению задачи на независимые части с высокой вычислительной мощностью [ 1 ]. Мы предполагаем, что широкое использование аппарата прогнозирования позволит решать параллельные задачи в распределенных средах состоящих из ресурсов компьютерного парка предприятия.

Под гетерогенной средой будем понимать ресурсы суперкомпьютера и компьютерного парка предприятия. Эффективность использования ресурсов напрямую зависит от успешности решения задачи планирования в гетерогенной среде. Требования сокращения временных издержек на решение прикладных задач, упрощения процедуры сопровождения распределенных систем обработки данных в существующих условиях обосновывают актуальность разработки новых методов планирования задач в распределенных системах обработки данных [ 4 ]. 2. Планирование параллельных и распределенных задач в грид с неотчуждаемыми ресурсами На данный момент существует направление по расширению вычислительных ресурсов кластера за счет внешних ресурсов. Одним из решения является добавление вычислительных ресурсов из публичного облака в кластер на нужное время. При этом, не требуется изменение метода планирования распределения заданий, рабочего окружения, интерфейса работы с суперкомпьютером и т.д. В масштабе промышленных предприятий существует возможность использования уже приобретенных вычислительных ресурсов, избегая дополнительных затрат на облачные технологии. Также стоит отметить прочие ограничения на проведение расчетов в сторонних коммерческих организациях, связанных со спецификой режимных предприятий. Таким образом, одним из решений задачи делегирования нагрузки суперкомпьютера является использование незадействованных ресурсов персональных компьютеров пользователей. Существующие работы по управлению заданиями в неотчуждаемом гриде делятся на два типа. Первые рассматривают грид с неотчуждаемыми некластеризованными ресурсами, но при этом модель не учитывает возможность обработки параллельных приложений [ 3 ]. Вторые отличаются методами планирования которые гарантируют только факт запуска параллельного расчета [ 5 ]. Применение методов, полученных в работе [ 3 ], затруднено ввиду отсутствия возможности запуска параллельных расчетов с суперкомпьютера на грид-системе. В свою очередь, интеграция работы [ 5 ] не эффективна по критерию времени расчета, так как отключение персонального компьютера, на котором проводился расчет параллельного приложения, приведет к завершению работы всего параллельного приложения. Необходима разработка нового метода управления заданиями, направленного на повышение вероятности выполнения параллельного расчета в грид-системе с неотчуждаемыми гетерогенными ресурсами. 3. Математическая модель предметной области

Функцию назначения задач T на узлы обработки N в соответствии с методом планирования f можно представить в виде черного ящика: где t \in T задачи из очереди, n \in N узлы обработки, w \in W элемент матрицы назначения, являющейся результатом планирования заданий. Элементы матрицы назначения: f (T, N ) = W W = l\eft(

{\ (\BbN , \BbQ )t1 . . . (\BbN , \BbQ )tm\} где m - максимальное количество сервис-слотов для данного ресурса данного узла, th - горизонт прогнозирования. Под сервис-слотом здесь понимается атомарное количество ресурса. Для CPU под сервис-слотом может пониматься ядро, для RAM - 128 Мб памяти. Таким образом fri представляет собой отображение глобального состояния грид-системы и локального состояния узла на набор вероятностей доступности определенного количества сервис-слотов на th интервалов прогноза. Тут G - вектор глобального состояния грид-среды, L - вектор локального состояния узла-обработчика. Данная функция приобретает смысл только в момент планирования, так как существенно зависит от задачи. Система планирования, работая над созданием матрицы назначения W , «примеряет» задачи на доступные узлы. Так в векторе локального состояния узла появляются такие элементы как Tsub и Twall, соответствующие прогнозируемому времени постановки задачи на расчет и времени отведенному пользователем на расчет данной задачи. В качестве примера рассмотрим ограничение выделенного на расчет времени в системе с отчуждаемыми ресурсами: frt(G, L) = (Tsub + Twall - t, 1.0) где Tsub \in

L, Twall \in

L, t \in

G, а единица означает что узел-обработчик не будет выключен до завершения расчета. При подобной постановке поведение задачи на даном узле может дополнительно характеризоваться разрывами этой линейной функции. Обработка заданий предполагается пакетной (централизованной), при этом распределению подвергаются сами функции распределения вероятности доступности ресурса. Обобщая функцию frt до характеристики доступных сервис-слотов времени на расчет задач в системах с неотчуждаемыми ресурсами, можно дополнить ее аппаратом прогнозирования завершения работы узла. Таким образом, используя в планировании функцию b\igcup th t frt = {\ (1, fprt(1))t, . . . , (m, fprt(m))t\} agora.guru.ru/pavt где fprt соответствующая функция прогнозирования доступности количества сервисслотов типа t (например [ 8 ]), m - максимально возможное для данного узла количество сервис-слотов этого типа. Т.о. можно запрашивать у узла зависимость распределения доступных ресурсов от момента времени. Важным является то, что данные о максимальном количестве сервис-слотов определенных типов инкапсулированы непосредственно на узлеобработчике.

Задачу было решено представить в виде набора функций требований к ресурсам: Таким образом, была заложена возможность учета динамики требований к ресурсам. Обобщенное описание требования к ресурсам включает стандартные константные описания, т.е. они выражаются константными функциями.

Задача планирования представлена в виде многокритериальной оптимизации t = \{ freq0, freq1, . . .\}

min(- fp, fc) т.е. максимизации функции вероятности завершения задачи на узлах fp и минимизации функции ресурсных затрат fc. Функции fp и fc являются интегральными для всего плана (матрицы W ) и участвуют непосредственно в функции соответствия (Fitness Function). Функция ресурсных затрат оперирует матрицей ресурсных затрат

C = 4. Архитектура системы делегирования нагрузки ВВК в гридсистемы Базовыми требованиями к архитектуре системы являются: гибкость; простота масштабирования; отказоустойчивость. Архитектура должна отвечать нормам информационной безопасности.

Система управления заданиями разделена на 3 части (рисунок 1). PyGrid-Server – сервер, занимающийся планированием выполнения задания в гетерогенной вычислительной сети с неотчуждаемыми ресурсами. По результатам планирования сервер передает или снимает задания с узлов-обработчиков. PyGrid-Client – ПО, с помощью которого происходит взаимодействие с системой PyGrid. Обеспечивает функционал добавления, удаление и мониторинга статуса задачи. В предлагаемом прототипе системы, данная подпрограмма также служит для получения результата расчета. PyGrid-Agent – ПО, работающее на устройстве-обработчике. Отвечает за получение, выполнение и перенаправление вывода выполняющихся задач.

В предлагаемой архитектуре клиент не обязательно является узлом обработчиком. Данное решение позволяет в будущем обеспечивать межгрупповые расчеты, организуя иерархии вычислительных сетей и избегая при этом простоя их вычислительных ресурсов.

Рис. 1. Диаграмма пакетов Клиентское приложение PyGrid-Client работает непосредственно с базой данных очереди заданий, с которой потом общается сервер. При использовании данного подхода отпадает необходимость в фоновом режиме работы сервера системы – PyGrid-Server. Это позволяет не только снизить количество кода, но и нагрузку на узел выполняющий роль сервера. При этом на SQL сервер перекладывается ответственность за безопасность системы.

Указанная архитектура (рисунок 1) является инфраструктурой для виртуальной среды. Через взаимодействие с Zabbix сервером происходит выбор соответствующего узлаобработчика, образ виртуальной машины (ВМ) и ее конфигурации. В разработанном прототипе системы функционал контроля виртуальной среды вынесен в отдельный сервис. После копирования, разворачивания и запуска виртуальной машины сервер планирования считает виртуальную машину обычным вычислительным узлом. Подобный механизм позволяет не только организовать среду, минимизирующую влияние на машины пользователей, но и позволит сохранить инфраструктуру суперкомпьютера, не перекомпилируя приложения для каждой архитектуры и ОС на которой возможен запуск. Примечательной является работа [ 7 ] в которой предложен подход к построению вычислительного грида основанного на комбинации классических виртуальных машин уровня ОС (VMs) и промежуточных механизмов управления в распределенной среде. В работе [ 7 ] даются качественные аргументы свидетельствующие о целесообразности применения подобного подхода в плане безопасности, изоляции, настройки, контроля версий и управления ресурсами, а также предоставили количественные результаты исследования производительности. agora.guru.ru/pavt 5. Заключение

и системы планирования. b\ulet b\ulet b\ulet b\ulet

Предложенная постановка задачи планирования позволяет, с одной стороны, абстрагироваться от конкретных методов моделирования поведения узлов грид-системы, с другой – организовать инфраструктуру, располагающую к исследованию динамики грид-системы методами анализа данных, что достигается за счет абстрагирования от типов ресурсов и оперирования полями вероятностей. Показана возможность построения системы, учитывающей ресурсную динамику, что особенно важно в грид-системах с неотчуждаемыми ресурсами. Управляя ресурсами виртуальной машины или учитывая заряд источника бесперебойного питания, мы можем существенно повысить вероятность выполнения параллельных приложений в грид-системах. Разработан прототип системы управления заданиями, который, в отличие от существующих технологий, позволяет реализовать рассматриваемую стратегию объединения суперкомпьютера и грид-системы с неотчуждаемыми ресурсами. Основные результаты данной работы: Задача планирования заданиями представлена как многокритериальная оптимизация; Разработана математическая модель планирования параллельных и распределенных заданий в контексте делегирования нагрузки суперкомпьютера в грид-системы, учитывающая динамику вычислительных ресурсов; Разработана архитектура системы планирования параллельных и распределенных заданий в грид-системах с неотчуждаемыми некластеризованными ресурсами; Разработан и реализован прототип виртуальной среды, системы управления заданиями Литература 1. Воеводин В.В. Решение больших задач в распределенных вычислительных средах // Автоматика и Телемеханика. 2007. № 5. С. 32-45. НИИЯФ МГУ, 2007. 87 с. Москва, 2011, 128 с.

основе метаданных. СПб, 2014, 136 с. 3. Березовский П.С. Управление заданиями в гриде с некластеризованными ресурсами. 4. Голубев И.А. Планирование задач в распределенных вычислительных системах на 5. Коваленко В.Н., Коваленко Е.И., Корягин Д.А., Семячкин Д.А. Управление параллельными заданиями в гриде с неотчуждаемыми ресурсами // Препринты ИПМ № 63, Москва, 2007, 28 с. 6. Youcef Derbal. A Probabilistic Scheduling Heuristic for Computational Grids //

Multiagent and Grid Systems 2006 vol: 2 (1) pp: 45-59

Proceedings of the 23rd ICDCS, p. 550. 8. Евтушенко Г.И. Сравнительный анализ применения искусственной нейронной сети прямого распространения и рекуррентной нейронной сети в задаче прогноза загрузки вычислительных ресурсов // ITIPM’2015, vol: 1 pp: 5-9, Ufa, Russia, 2015. 9. Иванов К.В. Система мониторинга с прогнозированием ошибок // Параллельные вычислительные технологии (ПаВТ’2013). 2013. С. 592. A high-performance computing systems workload delegation to grids

G.I. Evtushenko, K.V. Ivanov, A.B. Novikov

FSUE All-Russia Research Institute of Automatics

High-performance computing systems and heterogeneous dynamic enterprise computers resources combining strategy is ofered. It allows to reduce job waiting time in queue. Parallel tasks scheduling formalization in context of high-performance computing systems workload delegation to the grid-systems with dynamic resources is ofered. The job management system architecture based on virtualization is developed. Keywords: distributed computing, grid computing, dynamic resources, parallel computing, scheduling algorithms

References

1. Voevodin V.V. Reshenie bol'shikh zadach v raspredelyennykh vychislitel'nykh sredakh [Large problems solving in distributed computing environments] // Avtomatika i Telemekhanika [Automation and Remote Control] . 2007 , P. 32 - 45 .

2. Demichev A.P. , Il'in V.A., Kryukov A.P. Vvedenie v grid-tekhnologii [Introduction to grid technologies] . Izd-vo NIIYaF MGU , 2007 . 87 p.

3. Berezovskiy P.S. Upravlenie zadaniyami v gride s neklasterizovannymi resursami [Job control in nonclustered resources grid] , 2011 . 128 p.

4. Golubev I.A. Planirovanie zadach v raspredelyennykh vychislitel'nykh sistemakh na osnove metadannykh [Job scheduling in metadata based distributed computing systems based] . SPb , 2014 . 136 p.

5. Kovalenko V.N. , Kovalenko E.I. , Koryagin D.A. , Semyachkin D.A. Upravlenie parallel'nymi zadaniyami v gride s neotchuzhdaemymi resursami [Parallel jobs management in grid with dynamic resources] , 2007 . 28 p.

6. Youcef Derbal . A Probabilistic Scheduling Heuristic for Computational Grids // Multiagent and Grid Systems 2006 vol: 2 ( 1 ) pp: 45 - 59

7. Figueiredo R , Dinda P.A. ( 2003 ). A Case For Grid Computing On Virtual Machines // In Proceedings of the 23rd ICDCS , p. 550 .

8. Evtushenko G.I. Sravnitel'nyy analiz primeneniya iskusstvennoy neyronnoy seti pryamogo rasprostraneniya i rekurrentnoy neyronnoy seti v zadache prognoza zagruzki vychislitel'nykh resursov [Comparative analysis of feedforward artificial neural networks and recurrent neural networks use in computing resources load forecasting problem] // The 3rd International Conference on Intelligent Technologies for Information Processing and Management (ITIPM'2015) , vol: 1 , Ufa , Russia, 2015 .

9. Ivanov K.V. Sistema monitoringa s prognozirovaniem oshibok [Monitoring system with the error prediction] // Parallel'nye vychislitel'nye tekhnologii (PaVT'2013)[Parallel Computational Technologies (PCT' 2013 )], 2013 . P. 592 .