Приводятся результаты практического использования аппаратно-программных комплексов на базе распределенной грид-инфраструктуры суперкомпьютерных ресурсов (АПК-ГРИД) для решения различных ресурсоемких прикладных задач. В качестве инструментальной среды для проведения исследований использовался экспериментальный образец центра обработки данных (ЦОД) в составе национального ГРИДсегмента на базе кластера «СКИФ-GPU».
перкомпьютерного моделирования для отработки решений по созданию шинных изделий были выполнены установка и настройка пакета конечно-элементного анализа LS-DYNA на гридсайте SKIF_GPU, создан репозиторий данных задач компьютерного моделирования, разработана технология запуска задач компьютерного моделирования на грид-сайте SKIF_GPU.
В результате выполнения работ были созданы технологические решения, обеспечивающие предоставление пользователям ОИПИ НАН Беларуси и ОАО «Белшина» надёжного и безопасного инструментария для проведения инженерных расчётов в национальной грид-сети. Была проведена проверка функционирования следующих компонентов ЦОД: 1) Клиент – Пользовательский интерфейс (User Interface); 2) Шлюз (gateway); 3) Сайт REGISTRY (Shared Registry Site); 4) Сервер UNICORE/X; 5) База данных пользователей UNICORE XUUDB; 6) Интерфейс исполнительной системы TSI (Target System Interface); 7) Система мониторинга UNICORE-сайта.
Проверка функционирования сервисов UNICORЕ-сайта SKIF_GPU выполнялась на управляющей машине (УМ) кластера «СКИФ-GPU».
На UNICORE-сайте SKIF_GPU запущен интерфейс исполнительной системы (TSI) tsi_linux_torque, позволяющий выполнять задания через систему управления заданиями torque на 30 8-ядерных ВУ кластера «СКИФ-GPU» следующей конфигурации: ОС Linux Fedora 12 (x86_64); два 4-ядерных процессора Intel Xeon X5570 2.93GHz; 24 ГБ ОЗУ; InfiniBand QDR. На пользовательских компьютерах было установлено клиентское ПО UNICORE, включающее графический клиент UNICORE RichClient и файловый менеджер UNICORE (UFM).
В результате проведенных работ удалось решить связанную задачу образования температурных полей и определения напряженно-деформированных состояний крупногабаритных шин, выпускаемых ОАО «Белшина». Также на суперкомпьютерах национальной грид-сети было успешно проведено моделирование процесса стендовых испытаний шин. 3. АПК на основе библиотеки параллельной обработки изображений PIPL
Библиотека PIPL (Parallel Image Processing Library), предназначенная для использования в
высокопроизводительных многопроцессорных системах с параллельной архитектурой,
разработана в ОИПИ НАН Беларуси. Основное назначение – обработка изображений, полученных в
системах дистанционного зондирования Земли [
Возможности программного комплекса на основе библиотеки параллельной обработки изображений PIPL тестировались в рамках программы СГ «Космос-НТ» на базе кластерной конфигурации POLYGON_GPU для отработки технологии параллельной обработки больших объемов информации данных ДЗЗ, представляющих собой высококачественные мультиспектральные изображения. В число задач цифровой обработки изображений входят: восстановление зашумленных изображений; реконструкция объектов; повышение качества и сглаживание; обнаружение яркостных перепадов и линий; текстурный анализ; сегментация области и распознавание образов; преобразование полутоновых изображений; картографическая генерализация; геометрические трансформации и другие.
Кластерная система «POLYGON_GPU» была создана на основе 4 вычислительных узлов (ВУ) суперкомпьютера «СКИФ-GPU». В графическом режиме управление работой программного комплекса осуществляется с помощью графического редактора Gimp.
Библиотека параллельных функции содержит функции, позволяющие улучшить качество изображений, т.е. изменить яркость, контрастность, убрать зашумление изображений, усилить одну и подавить другую информацию, подчеркнуть края, а также осуществить поиск особенных зон на изображениях.
Программно-аппаратная реализация на базе PIPL имеет архитектуру клиент-сервер, где серверная компонента реализует запрашиваемые операции параллельной обработки исходного изображения, а клиентская компонента предоставляет оператору пользовательский интерфейс. В комплексе реализованы следующие основные операции над растровыми снимками: усредняющий фильтр (Average), медианный фильтр (Median), гауссово размытие (Gaussian blur), обострение/подчеркивание краев (Unsharpen mask), гауссово искажение (Gaussian Noise), выравнивание гистограммы (Equilize Histogram), растягивание диапазона (Stretch Range), эрозия (Erode), дилатация (Dilatation), фильтр на основе преобразования Фурье (Fourier), корреляционные методы поиска изображений по шаблону. Возможно добавление любого пользовательского фильтра. Для решения задачи поиска эталонного фрагмента на изображении была использована открытая библиотека OpenCV.
В таблицах 1 и 2 приведены результаты исследования масштабируемости задачи поиска нужных участков на изображениях при удаленном запуске задачи на полигоне.
В эксперименте использованы два полутоновых файла (файл 1, файл 2, градации серого) формата tif. В таблице 1 приведены результаты (время поиска эталонных зон в секундах) при последовательном увеличении количества параллельных процессов на управляющей машине полигона. Как видно из таблицы с увеличением задействованных ресурсов время поиска существенно уменьшается и решение задачи масштабируется.
Таблица 1. Время выполнения при увеличении числа процессов Кол-во процессов Файл 13152*1478 Файл 2 16384*1509 1
2 1 23,972
15,049 32,525 21,061 3 12,401 16,598 4 9,867 15,020 5 9,375 13,607 6 9,032 12,267 В таблице 2 приведены результаты эксперимента (время поиска эталонных зон в секундах) с последовательным добавлением вычислительных узлов полигона. Из таблицы видно, что 16 параллельных процессов на двух узлах достаточно для оптимального решения данной задачи. Дальнейшее увеличение количества процессов не дает уменьшения времени выполнения задачи.
Таблица 2. Время выполнения при увеличении числа узлов Количество 8 16 24 32 40 процессов Файл 1 7,352 4,422 4,322 4,65 4,52 13152*1478 Файл 2 12,010 8,093 8,227 8,675 8,288 16384*1509
Результаты тестирования программного комплекса на основе библиотеки PIPL, предназначенного для параллельной реализации типичных операций, осуществляемых над изображениями ДЗЗ или над произвольными большими массивами данных, позволяют сделать следующие выводы:
комплекс содержит полностью распараллеленный программный код с хорошими показателями масштабируемости;
комплекс построен по схеме клиент-сервер с возможностью удаленной работы пользователей;
комплекс имеет возможность интеграции функций комплекса в пользовательский интерфейс программ обработки изображений (GIMP, различные ГИС и т. п.); функционирование комплекса может быть осуществлено как на отдельном многоядерном компьютере, кластерном суперкомпьютере, так и в локальной сети организации; комплекс предоставляет возможность разработки эффективных пользовательских функций обработки данных без знания технологий параллельного программирования.
Наиболее эффективным является скриптовый режим работы комплекса, позволяющий обработать по заранее заданному набору фильтров большое количество снимков (микрокадров) для улучшения их качества. Также применение PIPL оправдано при поиске объектов по шаблонам в больших базах данных.
Основная цель работы на первом этапе – проведение предварительных исследований и анализа принципов выполнения прикладных ресурсоемких задач обработки данных ДЗЗ на основе реальных цифровых фотографий поверхности Земли.
В качестве программного обеспечения промежуточного уровня (ПО ПУ) в АПК Грид-ДЗЗ
используется ПО ПУ UNICORE [
Минимальный набор сервисов грид-инфраструктуры должен включать следующие службы: вычислительные сервисы; информационные сервисы; сервисы мониторинга; сервисы учета ресурсов; ресурс-брокеры; элементы хранения данных; сервисы управления виртуальными организациями. Должны также быть предусмотрены корневые грид-сервисы, которые включают в себя следующие основные службы: единый реестр грид-ресурсов (реестр грид-сервисов, реестр пользователей, сервисов и ресурсных центров); служба Shared Registry; служба тестирования; служба мониторинга; служба учета ресурсов.
Главным потребителем ресурсов создаваемой в рамках настоящего проекта гридинфраструктуры является белорусское Научно-инженерное республиканское унитарное предприятие «Геоинформационные системы» (НИРУП ГИС). На этом предприятии создан Национальный центр приема и первичной обработки космической информации, что позволяет, по сути, отрабатывать функциональные возможности проектируемой грид-инфраструктуры на реальных массивах данных ДЗЗ. В процессе выполнения предварительных исследований определено, что наиболее ресурсоемкой прикладной задачей из предварительного состава, сформированного на основании данных НИРУП ГИС, является задача восстановления 3D изображений на основе 2D цифровых фотографий поверхности Земли. В связи с этим анализ технологических операций обработки данных ДЗЗ проводился на примере технологии построения 3D моделей по изображению. 4.1. Удостоверяющий центр грид-сети ДЗЗ
Удостоверяющий центр формирует на основе инфраструктуры открытых ключей цифровые сертификаты сервисов и пользователей грид-сети ДЗЗ. Удостоверяющий центр грид-сети ДЗЗ входит в состав Операционного центра национальной грид-сети.
UNICORE-сайт Monitoring_RS использует в качестве вычислительных ресурсов 4 8-ядерных узла следующей конфигурации: ОС Linux Fedora 15 (x86_64); два 4-ядерных процессора Intel Xeon X5570 2.93GHz; однопроцессорный видеоадаптер NVIDIA GeForce GTX 480; 24 ГБ ОЗУ; InfiniBand QDR.
На UNICORЕ-сайте Monitoring_RS запущены следующие сервисы: шлюз (gateway); сервер UNICORE/X; база данных пользователей XUUDB; интерфейс целевой системы TSI; система мониторинга (рисунок 1).
Интерфейс исполнительной системы (TSI) tsi_linux_torque позволяет выполнять задания на целевой системе через систему управления заданиями torque на 4-х 8-ядерных вычислительных узлах кластера АПК ГРИД ДЗЗ. Рис. 1. Система мониторинга грид-сайта Monitoring_RS 4.2. Технологии визуализации данных
Неотъемлемой и важнейшей частью современного анализа различных процессов в любой отрасли естественных наук является визуализация данных. Существует значительное число средств визуализации научных данных, обладающих широкими функциональными возможностями. К сожалению, объём визуализируемых с их помощью данных естественным образом ограничен ресурсами персонального компьютера. В проекте АПК ГРИД-ДЗЗ система визуализации, реализованная на базе технологии клиент-сервер, включает: суперкомпьютерные вычислительные ресурсы в рамках распределенной грид-инфраструктуры; удаленное рабочее место (клиент системы); локальную (или глобальную) сеть. В качестве технологических решений, обеспечивающих работу системы визуализации, был выбран графический протокол VNC и программный пакет x11vnc [5].
Отличительными особенностями данного решения являются: 1) возможность запуска серверной компоненты визуализации на любой аппаратной платформе, поддерживающей работу сервера XWindows (NVIDIA, ATI, Intel и т.п.); 2) аппаратная поддержка работы приложений, реализованных с использованием технологий OPENGL, CUDA и OPENCL;
3) авторизация пользователей с использованием x509 сертификатов, выданных удостоверяющим центром национальной грид-сети;
4) возможность работы клиентской компоненты в качестве отдельного приложения ssnvc или через web-интерфейс;
5) возможность полноценной работы в высоком разрешении со сложными 3D моделями при использовании обычных 3G каналов мобильной связи; 6) наличие полных исходных кодов продукта с возможностью их модификации. По сути, используемые средства визуализации позволяют создавать для пользователя полноценный удаленный графический стол, работающий на суперкомпьютерных ресурсах (сервере визуализации) распределенной вычислительной среды. При этом используются единые механизмы информационной безопасности (пользовательские и серверные цифровые сертификаты) уже реализованные в национальной грид-сети. Использование данной системы визуализации позволяет целиком или частично избежать копирования громоздких результатов суперкомпьютерного моделирования на рабочее место пользователя. 5. Экспериментальная технология восстановления 3D-моделей местности
На данном этапе технологические схемы создания ЗD-моделей местности реализованы на основе использования программного комплекса – Agisoft PhotoScan Professional 1.0.4, представляющего собой специализированное программное обеспечение для фотограмметрии и работы с аэрофотоснимками.
Программа Agisoft PhotoScan позволяет по набору снимков объекта восстановить его текстурированную 3D модель. Эта цель достигается посредством выполнения следующих этапов обработки:
1) Загрузка фотографий, определение положений и параметров внешнего и внутреннего ориентирования камер.
2) Выравнивание фотографий. На этой стадии программа определяет положение и ориентацию камеры для каждого кадра и строит разреженное облако общих точек в 3D пространстве модели и данные о положении и ориентации камер.
3) Построение плотного облака точек на основании рассчитанных положений камер и используемых фотографий.
4) Построение трехмерной полигональной модели объекта, которая описывает форму объекта на основании плотного облака точек.
5) Текстурирование объекта и/или построение ортофотоплана (рисунок 2). Рис. 2. Текстурированная модель объекта (вид из системы визуализации) Применяемый программный продукт имеет все необходимые функциональные возможности для создания ЗD-моделей местности по аэрокосмическим снимкам. Создаваемая с его помощью 3D – модель имеет приемлемое для многих потребителей качество. Процесс построения трехмерной модели на экспериментальном стенде при работе на одном узле с графическим процессором выполнялся от 20 до 100 мин в зависимости от количества обрабатываемых снимков и заданного качества модели (150-300 снимков). При этом использование на узле графических ускорителей с технологией OPENCL позволяется значительно (в 8-10 раз) сократить время выполнения отдельных этапов построения 3D-моделей (наиболее эффективно при построении плотного облака точек).
Применение грид-технологий для организации доступа к суперкомпьютерным ресурсам и наличие у конечного пользователя НИРУП ГИС собственного беспилотного аппарата позволяют реализовать полную цепочку построения 3D-моделей: от выезда на местность для получения снимков до редактирования на месте построенной модели средствами 3D-редакторов или других ГИС. 6. Заключение
В представленной работе приведены практические результаты применения аппаратнопрограммных комплексов на базе распределенной грид-инфраструктуры суперкомпьютерных ресурсов для решения ресурсоемких прикладных задач. В качестве таких прикладных задач выделены следующие: моделирование напряженно-деформированных состояний крупногабаритных шин, обработка больших массивов растровых данных и построение трехмерных моделей местности по снимкам ДЗЗ. Приведено описание технологических решений для удаленной визуализации данных суперкомпьютерного моделирования. Литература 5. x11vnc. VNC server for real X displays. URL: http://www.karlrunge.com/x11vnc/ (дата обращения: 25.05.2015). Development of technological solutions in creating and using specialized hardware-software complex based on grid infrastructure supercomputer resources Oleg Tchij, Nikolay Paramonov, Marina Kuleshova and Nadzeya Paramonova Keywords: supercomputer, grid, data processing center The results of the practical use of hardware-software complexes on the basis of a distributed supercomputing grid infrastructure resources for a variety of demanding applications. As a tool environment for research used an experimental model of the data center (DC) in the National Grid Segment-based cluster SKIF-GPU.