=Paper=
{{Paper
|id=Vol-1482/428
|storemode=property
|title=Системы виртуального окружения – ключевые технологии анализа результатов суперкомпьютерного моделирования
(Virtual prototyping technology is the key technology for analysis of results of supercomputer modeling)
|pdfUrl=https://ceur-ws.org/Vol-1482/428.pdf
|volume=Vol-1482
}}
==Системы виртуального окружения – ключевые технологии анализа результатов суперкомпьютерного моделирования
(Virtual prototyping technology is the key technology for analysis of results of supercomputer modeling)==
https://ceur-ws.org/Vol-1482/428.pdf
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
Системы виртуального окружения – ключевые технологии
анализа результатов суперкомпьютерного моделирования
Н.Н. Шабров, В.А. Киев, А.К. Кузин
Санкт Петербургский политехнический университет Петра Великого, Кафедра
«Компьютерные технологии в машиностроении» (КТМ)
К основным вызовам 21-го века можно отнести проблемы вычислительного обеспечения
прорывных технологий предсказательного моделирования многомасштабных и мульти
дисциплинарных процессов на основе современных суперкомпьютерных вычислительных
систем (HPC). При этом предполагается, что объемы данных, генерируемые
пета/экзофлопными вычислениями, достигнут уровня петабайт и экзабайт. Это означает, что
для анализа результатов пета- и экзофлопного моделирования в режиме real time системы
виртуального окружения являются едва ли не единственным эффективным средством
осмысления огромного объема данных и будут играть ключевую роль в ближайшем будущем.
В работе обобщен и развит опыт создания и применения много экранных систем виртуального
окружения для анализа результатов предсказательного моделирования сложных объектов
науки и техники.
К основным вызовам 21-го века можно отнести проблемы изменения климата, энергетики,
освоения водных ресурсов, сохранения окружающей среды, подземной гидродинамики,
атмосферы, гидросферы, проблемы процессов горения в технических и природных системах, а
также проблемы борьбы с последствиями стихийных бедствий или техногенных катастроф.
Решение этих проблем возможно при условии вычислительного обеспечения прорывных
технологий предсказательного моделирования многомасштабных процессов на основе
современных суперкомпьютерных вычислительных систем (HPC).
Задачам вычислительного обеспечения прорывных технологий 21 века отведено
заслуженное место в подготовленном мировым сообществом разработчиков программного
обеспечения документе IESP Roadmap по кардинальному пересмотру стратегии развития и
разработки программного обеспечения для HPC систем на период 2010 – 2019 годы.
Вычислительные ресурсы, необходимые для вычислительного обеспечения прорывных
технологий требуют создания вычислительных систем c производительностью уровня
peta/exascale. Обеспечение экзофлопных вычислений является ключевой проблемой в мире,
решением которой занимается все мировое вычислительное сообщество. При этом
предполагается, что объемы данных, генерируемые пета/экзофлопными вычислениями,
достигнут уровня петабайт и экзабайт.
Анализ и визуализация огромных потоков данных, порождаемых в результате
предсказательного моделирования в научных и инженерных исследованиях, требует создания
как новых программных технологии анализа и визуализации, так и новых аппаратных средства
визуализации. Это означает, что для анализа результатов пета- и экзофлопного моделирования
в режиме real time системы виртуального окружения являются едва ли не единственным
эффективным средством осмысления огромного объема данных и будут играть ключевую роль
в ближайшем будущем.
Актуальность создания систем виртуального окружения типа CAVE 3D (Computer Aided
Virtual Environment)в настоящее время осознана всеми ведущими суперкомпьютерными
центрами мира и крупными промышленными компаниями. Несмотря на высокую стоимость,
спрос на такие системы очень велик. Эти среды наиболее востребованы в
высокотехнологичных отраслях промышленности, таких как аэрокосмическая, авиационная,
автомобильная, судостроительная, при анализе результатов моделирования сложных процессов
газодинамики, химии, биологии, горения, геомеханики и т.д.
Главной целью создания виртуальных сред на основе систем типа CAVE 3D является
компьютерная поддержка совместной географически распределенной работы (Collaborative
work) по моделированию, анализу и визуализации данных. В последнее время системы CAVE
3D часто называют центрами принятия решений (Immersive Decision Making). Уже сейчас
428
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
системы виртуального окружения используются в ведущих промышленных компаниях мира
как место и средство принятия решений путем погружения в исследуемый объект или процесс.
Именно в этих центрах целесообразно проводить совместные совещания разработчиков,
решающих судьбу создаваемого ими изделия, когда в режиме real time возможно
протестировать параметры изделия на примере его виртуальный образа.
Растущее внимание мирового сообщества вычислителей к технологиям анализа и
визуализации на основе систем виртуального окружения убедительно показано тематикой
заявленного в августе 2015 года в США регулярно проводимого симпозиума Virtual
Environments & Systems Symposium, проводимого в рамках конференции ASME International
Design Engineering Technical Conferences (IDETC) and Computers and Information in Engineering
(CIE). В программе симпозиума объявлено 24 тематических направления технологий
виртуального прототипирования, которые покрывают многие области знаний.
Одним из приоритетов в области стратегических информационных технологий в России
является создание отечественных суперкомпьютеров и на их базе создание виртуальных
моделей самолетов, автомобилей, кораблей, объектов энергетики, таких как АЭС, и
других наукоемких техногенных систем. Технологии визуализации в виртуальных средах в
настоящее время претерпевают интенсивное развитие в сторону расширения интерактивной
составляющей функциональности виртуальных сред, когда наблюдатель оперирует с
виртуальным образом объекта, так как он оперировал бы с реальным физическим объектом.
Составной частью современных систем виртуального окружения становится
высокопроизводительный видеокластер, который выполняет часть вычислительной работы по
обработке видеоизображения в режиме пост процессинга. В перспективе видеокластеры
примут на себя функции быстрой декомпрессии данных с использованием процессоров
установленных на графических ускорителях, функции реконструкции визуального
представления объекта на основе редуцированных данных моделирования, параллелизации
рендеринга и т.д. Системы типа CAVE 3D в настоящее время являются неотъемлемой частью
проведения полномасштабных фундаментальных и прикладных исследований в ведущих
научных центрах и университетах Европы, США и Китая (Рис 1).
Out of HPC Area HPC Modeling Area HPC Area
(Supercomputing) Visualization Cluster
CAD MBS modeling
CAE CFD FSI X-sided CAVE 3D
CAM Display Wall
Supercomputing Infrastructure
Рис. 1. Инфраструктура Суперкомпьютерного Центра
В настоящее время в мире существует более 100 крупномасштабных установок
виртуальной реальности, которые используются в самых различных областях науки и техники,
решая задачи, как фундаментальных научных дисциплин, так и в специализированных
прикладных направлениях на основе технологий virtual engineering. Такие системы имеют
большинство ведущих компаний мира – Boeing, Airbus, Ford, General Motors, BP и другие,
которые интенсивно внедряют технологии virtual engineering. Следует отметить, что
министерство обороны США ежегодно тратит на развитие систем виртуального окружения до
4 млрд. долларов. В профессиональных кругах признано, что X-sided CAVE 3D системы
виртуального окружения представляют неотъемлемую часть инфраструктуры мировых СК
центров и являются едва ли не единственным средством анализа огромных массивов данных
уровня терабайт и петабайт, генерируемых НРС системами.
429
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
В рамках IESP стратегии запланировано глобальное развертывание в университетах и
научно-исследовательских лабораториях мира крупномасштабных X-sided CAVE 3D систем с
высоким разрешением для визуализации и анализа данных (до 200 мегапикселов). К
настоящему времени ведущие университеты мира обновляют в инфраструктуре своих
суперкомпьютерных центров крупномасштабные установки систем виртуального окружения
типа CAVE 3D с разрешением 200 млн. пикселей. К числу таких университетов относятся
университет штата Айова, университет науки и технологий Саудовской Аравии, университеты
Штутгарта и Ахена и др. На настоящий момент крупнейшая в Европе 5-sided CAVE 3D система
установлена в университете RWTH (Аахен) с размером бокового экрана 5,25 м x 3,30 м.
Технологии virtual engineering представляет собой новую фазу развития технологий
моделирования и анализа, и являются расширением технологий digital engineering, которые в
настоящее время доминируют в мире при разработке наукоемких изделий машиностроения в
широком смысле. Среда Virtual Engineering определяется как открытая интерактивная
функциональная среда, в которую интегрируется набор технологий виртуального
прототипирования. Набор технологий виртуального прототипирования включат в первую
очередь технологии создания геометрических моделей средствами CAD/CADG систем,
проведения моделирования средствами MBS/CAE/CFD/FSI/HPC технологий в режиме
распределенной работы группами исследователей (Collaborative work), проведения анализа
результатов моделирования средствами 3DiVR программно-аппаратных комплексов и
технологии принятия решений. Отличительных успехов в развитии технологий виртуального
инжиниринга в Европе достигли научные центры университетов Штутгарта и Аахена [4,5,6], в
которых наряду с существенным развитием аппаратной части систем виртуального окружения
ведется разработка специализированного программного обеспечения COVISE и ViSTA для
моделирования в виртуальных средах . К настоящему времени программные системы COVISE
и ViSTA моделирования в виртуальных средах доступны пользователям в открытых кодах в
рамках LGPL [7, 8].
При этом следует указать на распространенное заблуждение, что CAE/CFD/FSI технологии
представлены в digital engineering и virtual engineering исключительно коммерческим
программным обеспечением. Создание конкурентоспособной продукции относится к разряду
уникальных экстраординарных задач, решение которых осуществляется главным образом на
основе корпоративного (так называемого in-house software) узкоспециализированного
программного обеспечения, которое создается с учетом конкретной архитектуры
вычислительной системы. Коммерческое программное обеспечение в силу своей
консервативной архитектуры и растущего отставания от темпов развития архитектуры
hardware не всегда удовлетворительно масштабируется и, как следствие, недостаточно
эффективно на многоядерных многопроцессорных вычислительных системах. В связи с этим
крупные промышленные компании, выпускающие конкурентоспособную наукоемкую и
высокотехнологичную продукцию (автомобилестроение, авиастроение, машиностроение), для
решения специализированных экстраординарных задач вынуждены инвестировать средства в
разработку собственного (in-house software) специализированного программного обеспечения,
которое и составляет новое наполнение технологий digital и virtual engineering.
Главным отличием технологий virtual engineering от технологий digital engineering является
вовлечение потенциала исследователя в новой фазе общего процесса проведения
моделирования и анализа результатов моделирования и принятия решений средствами
интерактивной среды виртуального окружения. При этом понимание результатов
моделирования достигается естественным образом - путем полного погружения исследователя
в киберпространство виртуального мира объекта и интерактивного взаимодействия с ним, как
если бы это был реальный объект. Технологии virtual engineering в настоящее время являются
ключевыми технологиями создания конкурентоспособной продукции машиностроения
ведущими машиностроительными компаниями мира.
В России первые установки систем виртуальной реальности для анализа результатов
научных и прикладных исследований были созданы в МФТИ и СПбПУ. Работы по созданию и
развитию программного обеспечения для таких установок постоянно поддерживаются
грантами РФФИ [9, 10]. В 2007 году в СПбПУ введен в эксплуатацию программно-аппаратный
комплекс виртуального окружения 3-sided CAVE 3D с тремя просветными экранами,
430
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
оптической трекинг системой и многопроцессорным видеокластером. В дальнейшем
функциональные возможности программно-аппаратного комплекса получили расширение.
Введены в эксплуатацию две видеостены на базе LCD мониторов NEC 46'' UN.
Архитектура программно-аппаратного комплекса СПбПУ 3 sided CAVE 3D виртуального
окружения включает следующее оборудование:
проекционно-экранное оборудование, 3 просветных экрана и 6 проекторов,
высокопроизводительный видео кластер с пиковой производительностью 1,4 TF на
базе процессоров Quad Core Intel Xeon E5420, 2.50GHz (144 ядра),
высокоскоростное коммутационное оборудование Myrinet и Infiniband,
оптическая трекинг система, 6 инфракрасных камер ARTtrack2 (4 в верхней части и
2 в нижней части киберпространства),
2 устройства управления виртуальными объектами Flystick и Fingertracking,
система видео конференцсвязи для работы с удаленными клиентами,
два узла на базе GPGPU архитектуры и процессора FERMI,
устройства хранения данных емкостью 24 Tb,
Видеостена с разрешением 2732*1536 на базе 4-х LCD мониторов NEC 46'' UN,
Видеостена с разрешением 5464х2304 на базе 12-ти LCD мониторов NEC 46'' UN и
оптической трекинг системой TrackPack2 с DTrack2 в комплекте с устройством
управления Flystick2.
Анализ результатов CAE моделирования Анализ AVL результатов CFD моделирования в
средствами программно-аппаратного комплекса 3- цилиндре дизеля средствами программно-
sided CAVE 3D аппаратного комплекса 3-sided CAVE 3D
С момента своего создания программно-аппаратный комплекс виртуального окружения 3-
sided CAVE 3D СПбПУ активно используется в научных исследованиях в области прикладной
механики, процессов газодинамики турбомашин, молекулярной динамики, а также рядом
промышленных предприятий С.-Петербурга, среди которых в первую очередь следует отметить
ОАО «Звезда» и ОАО «Силовые машины». Технологии виртуального прототипирования
используются этими предприятиями при анализе результатов предсказательного
моделирования поведения новых конструкций двигателей, мощных паровых турбин и
электрогенераторов.
431
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
Иллюстрация интерактивного анализа модели Иллюстрация интерактивного анализа модели
газотурбинного двигателя с использованием дизеля с использованием видеостены 4 LCD
видеостены 12 LCD NEC 46'' UN и оптической NEC 46'' UN и оптической системой трекинга
системы трекинга TrackPack2 TrackPack2
Совместно с ИММ РАН выполнены уникальные работы с использованием параллельных
компьютерных технологий по созданию программного обеспечения для интерактивной стерео
визуализации изоповерхностей результатов моделирования на сверхбольших сетках с числом
узлов до 10^9 в режиме real time в системе CAVE 3D [1,2]. Рассматривается задача построения
изоповерхности на нерегулярной сетке тетраэдров, в узлах которой задано скалярное поле.
Сетка разбивается на домены, в каждом из которых содержится порядка 10^6 узлов (таким
образом, имеется около 1000 доменов). Реализации параллельных алгоритмов построения
изоповерхностей выполнялись на основе многоядерной вычислительной архитектуры с
использованием видеокластера производительностью 1,4 TF на базе процессора Intel Quad Core
Xeon.
В качестве объекта технологий виртуального прототипирования может выступать любая
цифровая модель, в том числе, и модели архитектурных объектов. Так на основе технологий
виртуального прототипирования создана трехмерная интерактивная стерео 3D модель
реконструкции утраченного объекта культурного наследия РФ – Павловского музыкального
вокзала. Данный проект стал результатом сотрудничества Центра Коллективного
Пользования (ЦКП) «Компьютерные технологии проектирования и моделирования в
системах виртуальной реальности» ММФ СПбПУ, Государственного музея-заповедника
«Павловск» и Фонда поддержки и развития ГМЗ «Павловск». Среди выполненных в последнее
время работ по анализу результатов предсказательного моделирования средствами систем
виртуального окружения следует отметить анализ моделирования разрушения и вылета
фрагментов лопатки мощной паровой турбины, анализ моделирования процессов горения в
техногенных системах, анализ моделирования процесса охлаждения ротора мощного
электрогенератора, анализ CAD модели компоновки агрегатов авиационного газотурбинного
двигателя.
Анализ результатов моделирования развития Модификации поверхности виртуального объекта
пожара в закрытом помещении средствами в системе виртуального окружения
системы виртуального окружения CAVE 3D. 3-sided CAVE 3D в режиме real time.
432
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
Программно-аппаратные комплексы виртуальной реальности в России, как и во всем мире,
должны стать необходимым и естественным модулем в инфраструктуре современных
исследовательских суперкомпьютерных центров. Следует отметить, что в отличие от быстро
стареющего вычислительного оборудования, оборудование систем виртуального окружения
стареет гораздо медленнее и может использоваться для нескольких поколений дорогостоящих
высокопроизводительных вычислительных систем.
В 2015году по инициативе кафедры КТМ СПбПУ начинается совместный с
суперкомпьютерным центром университета Штутгарта (HLRS) проект. Целью проекта является
адаптация сложного программного гетерогенного кода, разработанного на кафедре КТМ, на
суперкомпьютерные ресурсы петафлопсного класса центра HLRS [3]. Программный код
предназначен для выполнения исследований по предсказательному моделированию поведения
автомобильной трансмиссии, известной под названием CVT (Continuously Variable
Transmission). Исследованию подлежит поведение строго нелинейной динамики 3D
деформируемого твердого тела. В связи со сложностью физической и математической модели
объекта использование коммерческого CAE программного обеспечения не дает
удовлетворительных результатов. Поэтому задача моделирования CVT относится к разряду
экстраординарной задачи, для решения которой требуется разработка альтернативного CAE in-
house программного обеспечения. Для выбора и реализации оптимальных технологий
параллельного программирования проект предусматривает формирование международной
бригады экспертов из HLRS и ИПМ РАН.
Анализ результатов CFD моделирования процесса Анализ результатов CAE моделирования блока
охлаждения ротора электрогенератора с дизеля с использованием видеостены 4 LCD NEC
использованием видеостены 4 LCD NEC 46'' UN 46'' UN и оптической системой трекинга
TrackPack2
Авторы доклада благодарят РФФИ за поддержку в части проведенных исследований в
рамках гранта № 13-07-12077 офи_м.
Литература
1. Akayev A.A, Kuzin A.K., Orlov S.G., Chetverushkin B.N., Shabrov N.N., Iakobovski M.V.
Genereation of isosurface on Large Mesh. Proceeding of the IASTED International Conference
ACIT 2010 in cooperation with Russian Academy of Science, page 236-240.
2. Shabrov N. N., Kuzin A. K., Orlov S. G., Chetverushkin B. N., Iakobovski M. V., Virtual
prototyping modeling in the cave 3D environment, ICAS Congress, St. Petersburg, Sept. 2014.
3. Nikolay Shabrov, Yuri Ispolov, Stepan Orlov, Simulations of continuously variable transmission
dynamics, ZAMM, 2014.
4. Wössner U.,Kieferle J.,Becker M.. 'Interactive Simulations - An Intuitive Way of Making
Supercomputing Ressources Available to the End User',Aktuelle Trends in der
Softwareforschung,pp.84-94, do it.software-forschungstag, 2007.
433
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
5. M. Becker and U. Wössner (2005). Tangible interfaces for interactive flow simulation, 2nd
Russian-German Advanced Research Workshop on Computational Science and High Performance
Computing, March 14 - 16, 2005.
6. Research Challenges for Visualization Software. Childs, H. ; Geveci, B. ; Schroeder,
W. ; Meredith, J. ; Moreland, K. ;Sewell, C. ; Kuhlen, T. ; Bethel, E.W. Computer, 2013 , Page(s):
34 - 42
7. http://www.hlrs.de/organization/av/vis/covise/, COVISE (COllaborative VIsualization and
Simulation Environment).
8. http://www.itc.rwth-aachen.de/go/id/fgmo, ViSTA (Virtual Reality for Scientific Technical
Applications).
9. С.В. Поляков, М.В. Якобовский. Геометрическое моделирование и визуализация в задачах
современной электроники. "Научная визуализация", 2009, 1(1), с. 19-65.
10. Алешин А., Афанасьев В., Брусенцев П., Ерёмченко Е., Клименко А., Клименко С.,
Никитин И., Никитина Л., Пестриков В., Сурин А., Сурина О. Актуальные
информационные технологии: визуализация информации, виртуальное окружение,
неогеография, осязаемые изображения //Научная визуализация, Электронный журнал, т. 5,
№ 4, С.117, 2013.
434
Суперкомпьютерные дни в России 2015 // Russian Supercomputing Days 2015 // RussianSCDays.org
Virtual prototyping technology is the key technology for analysis
of results of supercomputer modeling
Nikolay Shabrov, Vladislav Kiev and Aleksei Kuzin
Keywords: Virtual Reality, Virtual Engineering, CAVE 3D environment, HPC, Tracking
system, Display wall, Virtual prototyping
The major challenges of the 21st century can be attributed the problem of computing
breakthrough technologies providing predictive modeling of multiscale and multi-disciplinary
processes based on modern supercomputer computing systems (HPC). It is assumed that the
volume of data generated by the peta/exaflops computing, reach the level of petabytes and
exabytes. This means that to analyze the results of peta- exaflops simulation mode in real time
virtual environment is almost the one and only effective tool for understanding of the huge
amount of data, and will play a key role in the near future. The paper summarized and
developed by the experience of creating and applying a multi screen virtual environment
system to analyze the results of predictive modeling of complex objects of science and
technology.