В данной работе рассматривается использование суперкомпьютера для обработки больших потоков данных с модельной экспериментальной установки по исследованию быстропротекающих процессов в динамической системе «жидкость деформируемая конструкция». Рассматривается модельная установка, на которой отрабатывается методика интеграции установки, СуперЭВМ и численной модели в единую экспериментально-вычислительную систему. Приводится описание модели взаимодействия установки с суперкомпьютером, сетевой инфраструктуры проекта и управления установкой. Ключевые слова: суперкомпьютеры, большие потоки данных, экспериментальная установка, гидроупругость.
Установка представляет собой конструкцию (рис.1), состоящую из рабочей камеры (труба с фланцами и фитингами для установки датчиков вибраций и гидрофонов) (1) и измерительно – задающего вычислительного комплекса, который включает: 3 датчика давления (гидрофоны); 3 датчика виброускорений PCB 352C03; модуль согласования сигналов; шасси NationalInstruments (NI) PXI 1050, с установленным 8-ми канальным модулем NIPXI 4472B измерения динамических сигналов, с установленным программным обеспечением LabVIEW.11; устройство усиления и модуляции входного сигнала; узел нагружения – пьезокерамический излучатель.
Рис. 1. Экспериментальная установка В камеру заливается рабочее тело – жидкость. В NationalInstruments (NI) формируется входной сигнал для узла нагружения. Задаются амплитуда и частота сигналов. Далее сформированный сигнал поступает на устройство усиления и модуляции и затем на пьезокерамический излучатель. Сигналы, полученные в эксперименте, поступают на шасси NIPXI 1050, где происходит измерение динамических сигналов с гидрофонов и вибродатчиков и далее подаются на виртуальный прибор, созданный на базе программного комплекса LabVIEW.11. Здесь происходит запись и обработка сигналов с датчиков. Рабочее поле виртуального прибора программного комплекса LabVIEW.11. представлен на рис. 2. В верхней части поля имеются «окна», которые позволяют производить: 1. Настройку записи файлов. Оператору необходимо перед началом эксперимента указать полный путь к выходному файлу в текстовом окне «Путь к файлу для записи измерений», дополнительно в текстовом окне «Описание измерений» можно указать комментарии к эксперименту. Комментарии сохраняются в том же файле.
2. Настройку полученных данных. Оператор в поле управления «Период цикла опроса, мс» задает частоту считывания данных из буфера. Количество выборок на канал указывается в окне «Размер буфера (выборок на канал)». Если настройки получения данных заданы правильно, то постоянно светиться зеленый индикатор «Чтение из буфера в норме», в противном случае компьютер не будет успевать считывать из буфера, и будут пропуски на графиках.
3. Задание частоты дискретизации сигнала. Оператор в окне «Частота дискретизации» вводит значение. Чем выше частота, тем выше точность измеряемого сигнала.
4. Задание частоты сигнала отмечается в окне «Заданная частота (Гц)», где оператор задает требуемую частоту, в соответствии с планом физического эксперимента. Эта функцию можно реализовать двумя режимами управления — «Ручное» или «Авто». Оператор с помощью «переключателя» может выбирать любой вариант. При автоматическом управлении оператор может задать диапазон изменения параметров, в данном случае частоты, прописывая в поле «Максимальная частота (Гц)» определенное значение. В поле «Шаг изменения частоты (Гц)» поставить значение, которое определяет шаг измерений. 5. Проведение эксперимента. Для проведения измерения оператору необходимо нажать кнопку «Старт», чтобы остановить — кнопку «Стоп». При выборе автоматического режима управления, при завершении расчетов всех шагов, измерения прекратятся автоматически.
Слева расположено семь графиков, которые отображают результаты эксперимента с накоплением. Метка-название вертикальной оси на графике соответствует номеру измерительного канала на модульном приборе, к которому подключен датчик. По горизонтальной оси откладываются номера выборок. Справа от графиков расположена легенда. Три верхних графика (ai0, ai1, ai2) показывают данные, получаемые с вибродатчиков. При переключении элемента управления оператор может выбрать отображение на графике виброускорений [м/с2], виброскорости [мм/с] или виброперемещений [мкм]. Текущее значение параметра отображается в поле справа от элемента управления. Следующие три графика (ai3, ai4, ai5) показывают данные, получаемые с гидрофонов. При переключении элемента управления оператор может выбрать отображение на графике исходного сигнала в [В] или в [дБ]. Текущее значение параметра также отображается в поле справа. Последний график (ai6) показывает данные, подаваемые на генератор сигнала.
Рис. 2. Рабочее поле виртуального прибора LabVIEW.11. 3. Инфраструктура технологической платформы 3.1. Измерительная система
Измерительная система создана на платформе сбора данных National Instruments (NI). Используется модульная платформа сбора данных NIPXI-1050, состоящая из комбинированного PXI/SCXI – шасси: 8 слотов PXI/Compact PCI и 4 слота системы согласования сигналов SCXI. Установленный в шасси вычислительный модуль позволяет проводить предварительную обработку поступающих от установки данных. Ethernet – порт вычислительного модуля используется для связи с суперкомпьютером. Ввод аналоговых динамических сигналов от датчиков осуществляется в модуль NI PXI-4472B, который установлен в шасси NI PXI-1050. Характеристики модуля: 8 каналов, 24 бит, 102.4 килоотсчетов в секунду. На вход установки подаются управляющие воздействия через установленные в PXI/SCXI – шасси специализированные модули. Эти модули генерируют программно задаваемые амплитуду и частоту сигналов, возбуждающих колебания в установке. Амплитуда и частота этих сигналов зависит от результата спектрального анализа выходного сигнала с гидрофонов. 3.2. Суперкомпьютер
Используется высокопроизводительный вычислительный кластер (HPC cluster)Центра высокопроизводительных вычислительных систем ПНИПУ с пиковой производительностью 24Tflops. HPC cluster построен на 128-и четырех-ядерных процессорах AMD Barselona-3 и 48 восьмиядерных процессорах IntelXeon E5-2680. В составе HPC cluster имеются: сервер доступа, система хранения данных 12ТВ, сервер виртуальных машин и сервер мониторинга. Счетный Interconnect Infiniband реализован на коммутаторе VoltaireISR-9096 и используется для межузлового обмена во время счета параллельных задач. Ethernet Interconnet построен на базе коммутатора HPProCurveSwitch 5406zl и используется для загрузки данных, выгрузки результатов и мониторинга. Сопряжение платформы сбора данных NI PXI-1050с с HPCcluster выполнено по оптическому волокну на скорости 1Gbps. Обеспечена возможность перехода на скорость 10-100 Gbps. 4. Модель потоков данных
Гибкость проводимых исследований обеспечивается согласно двум моделям обработки на
суперкомпьютере измеряемых данных и управления экспериментом [
Модель «память-хранилище» имеет три этапа: загрузка данных от Источника в СХД (1), обработка размещенных в СХД данных на суперкомпьютере (2), выгрузка результатов обработки с СХД на Источник (3). Загрузка/выгрузка данных в/из хранилища (этапы 1 и 3) и последующая обработка (этап 2) выполняются либо с использованием протоколов передачи файлов (FTP/GridFTP и SCP), либо прямом доступе к хранилищу данных при помощи протоколов работы с файловой системой (CIFS и NFS/pNFS). Эта модель является классической схемой обработки больших данных на суперкомпьютере, в которой процесс измерений и процесс счета разорваны во времени и не обеспечивают в ряде случаев требованиям управления экспериментом.
Модель «память-память» ориентирована на обработку на суперкомпьютере интенсивного потока данных от Источника в реальном масштабе времени. Идея этой модели основана на прямом вводе интенсивного потока структурированных данных в память вычислительных узлов суперкомпьютера, минуя внешнюю систему хранения данных. Рис.3. Инфраструктура обработки распределенных данных 4.1 Процесс обработки крупных ЦОД. Этому способствуют оптические сети, по которым возможна передача данных на скоростях 1-10-100 Гбит/с.
Однако общепризнанное несоответствие между вычислительной производительностью и компонентами ввода/вывода высокопроизводительных систем текущего поколения сделало ввод/вывод наиболее узким местом. И одним из основных источников ухудшения совокупной производительности территориально распределенных высокоскоростных приложений является плохая end-to-end-производительность повсеместно используемого протокола TCP. А основным механизмом повышения пропускной способности является параллельная передача (GrtidFTP, pNFS).
В этом случае, на первый план выходит необходимость обеспечения эффективной передачи данных на вычислительные узлы удаленного суперкомпьютера и решение задачи распределения элементов потока данных по вычислительным узлам. 5. Промежуточное программное обеспечение
Предложенный метод ввода интенсивного потока данных в удаленный суперкомпьютер
требует распределения кортежей измеряемых параметров, генерируемых экспериментальной
установкой, по вычислительным узлам. Передача и диспетчеризация потока данных между
экспериментальной установкой и СуперЭВМ будет осуществляться c использованием
программного обеспечения SciMQ [
SciMQ – это комплекс программного обеспечения, состоящий из сервера очередей, рассчитанного на диспетчеризацию потоков данных до 10 Гбит/с, клиентских библиотек и управляющего программного обеспечения в виде web-интерфейса и приложения командной строки. Используемый в SciMQ алгоритм диспетчеризации распределяет исходные измерения по вычислительным узлам в порядке очереди по принципу FIFO (FirstIn, FirstOut – «первым пришел – первым ушел»). При этом гарантируется передача измерений и его обработка на супервычислителе даже в случае отключения некоторых вычислительных узлов.
Сервер очередей рекомендуется располагать достаточно близко к экспериментальной установке (в пределах одного здания) для решения проблемы передачи данных по протяженной скоростной линии связи в удаленные вычислители. В реализуемой инфраструктуре это может быть сервер доступа, один из управляющих узлов суперкомпьютера или выделенная виртуальная машина на сервере виртуализации VMWare.
Сетевое взаимодействие программного обеспечения экспериментальной установкой и расчетных приложений с сервером очередей будет производиться через клиентскую библиотеку, предоставляющую разработчикам C++ API. 6. Выводы
В данной работе рассмотрена модель использования суперкомпьютера для обработки больших потоков данных. Реализован первый этап, в рамках которого методика работы отлажена на модельной экспериментальной установке по исследованию быстропротекающих процессов в динамической системе «жидкость — деформируемая конструкция». При этом разработана технологическая платформа, интегрирующая компоненты в единую экспериментально-вычислительную систему. Приводится описание модели взаимодействия установки с суперкомпьютером, сетевой инфраструктуры проекта и методов организации управления установкой. Литература The development of the technology platform on the basis of a supercomputer to handle large flows of experimental data Perm National Research Polytechnic University1, Ural Branch of Russian Academy of
Sciences Institute of Continuous Media Mechanics2 In this paper, we consider the use of a supercomputer to process large amounts of data with the model of the experimental setup for the study of fast processes in a dynamic system "liquid - deformable structure". We consider the installation of a model on which to develop methods of integration installation, supercomputers and numerical model into a single experimental computer system. The description of the model of interaction with the supercomputer installation, network infrastructure and project management of installation.