В данной работе представлен программный комплекс для обработки и визуализации результатов моделирования задач молекулярной динамики. В процессе разработки комплекса были изучены вопросы производительности интерпретируемого языка Python и средства, позволяющие ее увеличить. Так же были исследованы проблемы получения и обработки данных, находящихся на множестве вычислительных узлов. В качестве средства визуализации был выбран открытый пакет для научной визуализации "Mayavi2". В результате применения комплекса в исследовании взаимодействия газа с металлической пластиной удалось в деталях наблюдать эффект адсорбции, который важен для многих практических приложений. Ключевые слова: визуализация, молекулярная динамика, облачные вычисления, параллельные алгоритмы, Python, Mayavi2, Numba 1. Введение Развитие компьютерных технологий и быстрый рост вычислительных мощностей в настоящее время существенно расширили возможности вычислительного эксперимента (ВЭ). В частности, на современном этапе уже удается изучать свойства и процессы в сложных системах на молекулярном и даже атомарном уровнях, например, методами молекулярной динамики. Математические модели такого типа могут оперировать огромным количеством частиц: от миллионов до миллиардов. При этом каждая частица может описываться десятками параметров. Объемы выходных данных в подобных ВЭ исчисляются терабайтами информации. В настоящее время наиболее используемым подходом для ускорения масштабных вычислений является их распараллеливание, когда множество вычислительных узлов занимается обработкой только небольшой части задачи, что существенно уменьшает время, нужное для полной симуляции системы. Однако такой способ ускорения вычислений ведет к нескольким проблемам, связанным с хранением результатов. Чаще всего после произведения вычислений вычислительные узлы обмениваются данными, и мастер-процесс составляет полную систему в памяти и сохраняет ее одним большим файлом. Что делать в случае, если размер всей системы превышает оперативную память мастерузла? В таком случае каждый вычислительный узел хранит свои результаты обособленно. Такой способ хранения дает несколько преимуществ. Первое - отсутствие необходимости последовательного чтения всех результатов для последующей обработки. Каждый вычислительный узел читает только свои данные. Второе - каждый отдельный файл данных обычно не очень большой, и следовательно его обработка будет занимать меньше времени. Расчетные программы такого типа и рассматриваются в данной статье, а именно алгоритм и его реализация, описанные в [1]. Одним из способов представления данных ВЭ является двух- и трехмерная визуалиa\st Работа выполнена при поддержке РФФИ (гранты № 15-07-06082-а, № 15-29-07090-офи_м)
Федеральное государственное бюджетное учреждение науки Институт прикладной математики им. М.В. Келдыша Российской академии наук1 agora.guru.ru/pavt зация. Для того чтобы построить общую картину результатов моделирования, требуется прочитать и обработать данные с каждого вычислительного узла, что само по себе является ресурсоемкой задачей. В большинстве случаев форматы расчетных данных и способ их хранения сильно отличаются в зависимости от расчетной программы. Поэтому такие программы либо имеют свой визуализатор и рассчитывают все нужные для визуализации данные в процессе работы, собирая их потом на мастер-узле и отрисовывая своими средствами (LAMMPS, и другие), либо сохраняют данные в общеизвестные стандартизированные контейнеры (HDF5, VTK, и другие), которые поддерживаются любым программным обеспечением для научной визуализации. Проблемы такого способа хранения и отрисовки в ограниченности возможностей собственного программного обеспечения расчетного комплекса в отношении визуализации, а в случае общеизвестных стандартов это проблема больших файлов.
В данной работе представлена попытка создать программный комплекс, позволяющий
в интерактивном режиме импортировать, обрабатывать данные из разных источников, будь
то данные известных форматов или распределенные по вычислительным узлам результаты
расчетов в пользовательском формате. В качестве тестового примера были рассмотрены
результаты работы вычислительной программы, описанной в [
Задача сбора и обработки распределенных данных, полученных в результате выполнения некоторой расчетной программы, имеет несколько ключевых особенностей. Во-первых, это специфичность задачи. В результате исследования не было найдено подходящих средств для параллельной загрузки распределенных однотипных данных, что послужило поводом для данного исследования. Во-вторых это размер входных данных. Они могут быть как небольшим одномерным массивом, так и большим количеством файлов, разбросанных по разным узлам и директориям. Такие задачи обычно решаются либо средствами этого программного комплекса, либо разработкой специализированного обработчика, который умеет понимать формат вывода используемой расчетной программы. В третьих, это необходимость обрабатывать такие результаты для удобного представления на графиках или в 3D визуализации. В связи с этим в данной работе была предпринята попытка создать каркас для системы, обладающей следующими возможностями: b\ulet b\ulet b\ulet b\ulet параллельное чтение данных из разных источников; определение пользовательских форматов данных; определение пользовательских фильтров и обработчиков; предоставление средства для визуализации данных.
Важно понимать, что в данном случае большую роль играет легкая расширяемость такой системы, чтобы ее можно было легко использовать для обработки данных, хранящихся в любом формате.
В качестве начального этапа разработки была выбрана задача визуализации данных,
полученных из [
Python [
IPython [
Несмотря на все достоинства, у основной реализации интерпретатора, СPython [
Numpy [
Numba [
Таблица 1. Сравнение производительности
Numba+Numpy Отн. прирост производительности N 1000000 10000000
Numpy
0.19 мс
1.62 мс
from numba import jit
@jit ( nogil = True , nopython = True )
def numpy_numba_func (vx , vy , vz , multiplier =100 , divider =3.0):
return multiplier *(( vx * vx ) + ( vy * vy ) + ( vz * vz )) / divider
def numpy_func (vx , vy , vz , multiplier =100 , divider =3.0):
return multiplier *(( vx * vx ) + ( vy * vy ) + ( vz * vz )) / divider
Рис. 1. Сценарий для сравнения перемножения массивов средствами Numpy и Numba
Как видно из таблицы и из листинга, Numba позволяет ускорить вычислительную часть
кода почти в два раза, не прибегая ни к каким особым оптимизациям, как бы скорее всего
пришлось делать при использовании любого другого средства. Естественно, что Cython [
В виду наличия у CPython такого механизма как GIL, параллелизация приложений с помощью потоков не возможна. Однако, запуск нескольких процессов интерпретаторов, обменивающихся данными, вполне решает эту проблему. Единственная особенность в данном случае состоит в том, что запуск процесса - намного более долгая операция, чем запуск потока, и использовать многопроцессорное приложение на небольших данных не рационально. Существует несколько инструментов для удобного управления такими задачами.
Multiprocessing [
ParallelPython [
На Рис. 2 представлен пример суммирования множества массивов в параллельном режиме с использованием ParallelPython и Multiprocessing. На каждом вычислительном узле запускается 2 процесса с помощью ParallelPython и каждый из них запускает еще 2 процесса средствами Multiprocessing. import pp import numpy as np ppservers = (" 10.0.0.1 " ," 10.0.0.2 " ," 10.0.0.3 " ," 10.0.0.4 ") serv = pp . Server ( ncpus = 2, ppservers = ppservers ) def mpsum ( array ): pool = multiprocessing . Pool (2); half = len ( array )/2 s = sum( pool .map(sum, [ array [: half ], array [ half :]])); return s arrays = [ np . ones (5000) f o r i in xrange (10) ] imports = (" multiprocessing " ,) depfuncs = tuple () jobs = [ serv . submit ( mpsum ,(a ,) , depfuncs , imports ) f o r a in arrays ]; s = sum([ job () f o r job in jobs ]); print s Рис. 2. Сценарий для параллельного суммирования средствами ParallelPython и Multiprocessing 3.5. Визуализация
Существует множество сторонних средств для визуализации данных. Для примера можно рассмотреть Paraview, VMD, Aviso, Tecplot. Каждая из перечисленных программ имеет собственный формат хранения данных, а так же умеет читать стандартизованные форматы. Представленную в данной работе библиотеку можно использовать как средство для подготовки данных для последующей визуализации в перечисленных программах, однако также она имеет встроенные средства визуализации, практически не уступающие по возможностям перечисленным программам. В качестве пакетов для визуализации общего назначения были выбраны следующие. 3.5.1. Mayavi2
Mayavi2 [
Рис. 4. Результат визуализации плотности распределения точек.
Matplotlib [
Paramiko [
Используя приведенные в разделе "Средства разработки" инструменты, была начата разработка системы, которая позволит достичь намеченных целей, а именно параллельного чтения и обработки данных, а так же их визуализацию. В качестве начального этапа, был написан пакет mmdlab, реализующий все эти возможности. Ниже будут описаны задачи и способы их решения с использованием разрабатываемой библиотеки. Также будет обращено дополнительно внимание на особенности реализации некоторых ее участков. 4.1. Получение данных
Модуль для чтения и частичной обработки данных получил название datareader. Возможности, которые предоставляет этот модуль, заключаются в реализации параллельных механизмов чтения данных, с удобным для пользователя интерфейсом и возможностями расширения. Рассмотрим процедуру чтения одного конкретного состояния системы. Учитывая распределенную структуру входных данных, единичное состояние системы может быть представлено как одним большим массивом данных, так и множеством файлов, находящихся на различных вычислительных узлах или в локальной директории. В таком случае каждый процесс чтения разбивается на несколько процессов, загружающих в память каждый свою порцию данных. После того как все дочерние процессы прочитали и, возможно, обработали данные, мастер-процесс собирает их воедино и передает следующему обработчику по цепочке.
На Рис. 6 приведен пример сценария чтения распределенных данных из локальной директории.
Для того чтобы пользователь мог читать данные своего заданного формата, ему
потребуется реализовать свои объекты для их хранения и загрузки. В качестве примера можно
рассмотреть определение таких сущностей для чтения формата CSV (Comma-Separated
Values) c тремя колонками. Загрузка таких данных, хранящихся на множестве узлов, будет
import mmdlab
from mmdlab import datareader as dr
import sys
transport = dr . transport . LocalDir ( sys . argv [
Рис. 6. Сценарий для чтения распределенных данных из локальной директории. выглядеть как показано на Рис. 7. c l a s s CsvContainer ( dr . containers . DummyContainer ): def __init__ ( self ):
self . cols = [[] ,[] ,[]] def append_data ( self , data ): f o r i ,d in enumerate( data [:]):
self . cols [i ]. extend (d) c l a s s CsvParser ( dr . parsers . DummyParser ): def data ( self ): cols = [[] ,[] ,[]] f o r line in self . transport . readlines (): c = line . split (" ,") f o r i in range (0 ,3):
cols [i ]. append (c[i ]) return cols nodes = ({ ip :" 10.0.0.1 " ," pwd ":" 12345 " ," login ":" test "},
{ ip :" 10.0.0.2 " ," pwd ":" 12345 " ," login ":" test " })
remote_dirs = [( sys . argv [
При реализации данного метода была выявлена проблема утечки памяти. После запуска пула процессов и выполнения множества задач в нем, потребление памяти резко возрастало. Оказалось, что процесс интерпретатора, созданный библиотекой mutithreading, по умолчанию обрабатывает все запланированные задачи, не перезапускаясь. Каждая выполняемая в нем задача оставляет свой контекст, тем больший по размеру потребляемой памяти, чем больше возвращаемых им данных. В результате после длительной работы программы у вычислительного узла заканчивалась оперативная память. Однако решение оказалось простым - у объекта пула процессов имеется специальный параметр конструктора maxtasksperchild, позволяющий задать количество задач на один процесс, после чего управляющий алгоритм его перезапустит. Изменение этого параметра позволяет варьировать максимальный объем потребляемой памяти. В рамках рассматриваемой задачи, время, которое занимает пересоздание процесса, не существенно, и такой подход вполне оправдывает себя.
Еще одна проблема, с которой пришлось столкнуться, - невозможность создавать "вложенные" пулы процессов. Например, если пользователь захочет запустить процесс чтения множества состояний системы так же в параллельном режиме, как и процесс чтения одного состояния, используя пул процессов (Рис. 9), он будет огорчен: по умолчанию библиотека c l a s s DistributedDataReader : ... def read (self , np =32): files = self . transport . l i s t ( self . file_mask ) container = self . container () pool = Pool ( processes =np , maxtasksperchild =16) results = [ pool . apply_async ( rd , args =(f, self . transport , self . parser )) for f in files ] for ct in results : container . append_data (ct. get ())
return container . finalize ()
Рис. 8. Вход в процедуру чтения данных в классе DistributedDataReader
multiprocessing не позволит сделать это.
def read_state ( mask ):
import mmdlab
from mmdlab import datareader as dr
import sys
transport = dr. transport . LocalDir ( sys . argv [
return False def _set_daemon (self , value ):
pass daemon = property ( _get_daemon , _set_daemon ) c l a s s MultiPool ( multiprocessing . pool . Pool ):
Process = NoDaemonProcess
Рис. 10. Пул процессов для выполния чтения множества контрольных точек 4.2. Обработка данных
Обработка данных в разработанной библиотеке использует те же механизмы, что и
чтение данных. Главный обработчик библиотеки передает контейнер, полученный от
предыдущего задания, на вход методу обработки. Реализация этих методов может быть как
последовательная, так и параллельная. В приложении к конкретной задаче анализа результатов
МД моделирования были разработаны методы пост-обработки данных, например,
фильтрация частиц, в частности для отсечения частиц вне заданной области, для фильтрации
по индексам и разделении частиц по типам. Все вычислительно емкие процедуры были
оптимизированы с использованием Numpy+Numba. В качестве примера рассмотрим задачу
визуализации положения и температуры частиц, разделенных по типу, в заданной области.
С использованием реализованной библиотеки такая задача решается как показано на Рис.
11. Результат визуализации показан на Рис. 12.
from mmdlab . datareader . shortcuts import read_distr_gimm_data
import mmdlab
import sys
reader = read_distr_gimm_data ( sys . argv [
Для визуализации в данной работе использовались библиотеки Mayavi2 и Matplotlib.
Для удобства реализации часто используемых способов, был написан модуль vis, который
предоставляет обертку над методами из этих библиотек, комбинирующий их возможности
для достижения заданного результата. Процесс визуализации данных на данный момент
поддерживается только в однопоточном режиме в рамках одного процесса, однако mmdlab
позволяет запустить такие задачи на множестве узлов или в многопроцессовом режиме.
Например, рассмотрим задачу составления анимации, состоящей из кадров представляющих
собой состояния исследуемой системы в последовательные моменты времени. Исходные
данные распределены по множеству узлов с установленной серверной частью ParallelPython, то
есть визуализацию можно запустить на каждом из узлов и потом собрать результаты. Для
реализации такой задачи предлагается следующий алгоритм: 1) на каждом из заданных
узлов запустить последовательность визуализации; 2) собрать все отрисованные кадры на
мастер-узле; 3) собрать из этих кадров gif анимацию. На Рис. 13 приведен код,
позволяющий выполнить такую задачу c использованием модуля mmdlab. Для сборки анимационного
файла используется программа convert из пакета ImageMagick [
" {} _ *. dat ". format( dir_state [
f o r i , node in enumerate( nodes )]) f o r result in results : f o r frame , state in result :
mmdlab . vis . savepng (" ./{}. png ". format( state ), frame ) mmdlab . vis . convert_to_gif (" ./*. png " , delay_ms = 10)
Рис. 13. Сценарий для создания gif-анимации эволюции исследуемой системы во времени 5. IPython как средство управления и предварительного анализа В данной работе было рассмотрено веб-приложение IPython notebook, позволяющее выполнять пользовательские Python скрипты используя веб-браузер. Учитывая то, что IPython позволяет выполнять скрипты поблочно, с сохранением контекста предыдущей задачи, использование такого средства оказалось удобным для предварительной обработки и просмотра результатов. Используя его, возможно, например, вызывать процедуру чтения для одного состояния исследуемой системы, поэкспериментировать с выбором региона отсечения частиц, подобрать нужное положение камеры над сценой и запустить задачу визуализации всех состояний с подобранными параметрами. 6. Заключение
В данной работе была сделана попытка создать высокоуровневую библиотеку,
позволяющую легко кластеризировать и распараллеливать задачи чтения, обработки и
визуализации. Основной задачей для данной библиотеки были анализ и визуализация данных,
полученных в результате выполнения работы [
Distributed visualization in application to the molecular dynamics simulation of equilibrium state in the gas-metal microsystems. \ast
D. Puzyrkov1, V. Podryga1, S. Polyakov1 Keldysh Institute of Applied Mathematics (Russian Academy of Sciences),1 In this paper a software package for processing and visualization of the molecular dynamics simulation is presented. During the development process the performance issues of the Python programming language were studied, as well as the abilities to avoid them. It was also studied the problem of obtaining and processing distributed data stored on multiple computational nodes. An open-source package for scientific visualization Mayavi2 was chosen as a visualization tool. As a result of application this system to the data obtained from MD simulation of the gas and metal plate interaction we were able to observe in the details the efect of adsorption, which is important for many practical applications.