Объединенный институт высоких температур РАН Развитие новых технологий в энергетике в значительной степени основано на многомасштабном моделировании, успех которого, в свою очередь, зависит от прогресса суперкомпьютерных технологий. В данной работе мы рассматриваем несколько ярких примеров задач, которые решаются нами с использованием атомистических и многомасштабных моделей на лучших суперкомпьютерах России: фазовые переходы в газовых гидратах и газоконденсатных смесях, расчет реологических свойств органических жидкостей и создание новых полимерных материалов. Данные исследования представлены в контексте примеров задач из американской программы INCITE. На основе рассмотренных примеров мы обсуждаем вопросы эффективности аппаратного обеспечения, масштабируемости алгоритмов, проблемы ввода-вывода и обработки данных.
Рис. 1. Деление проектов INCITE 2014 г. по тематикам: (а) число проектов по каждой тематике и (б) выделенное на каждую тематику вычислительное время в миллионах процессоро-часов прикладной задачи требуется демонстрировать параллельную эффективность на вычислительном поле порядка 20% используемой машины. В 2011 году это соответствовало размеру вычислительного поля порядка 20 тысяч ядер, а в 2013–14 гг.–200 тысяч ядер! Как для задач крупномасштабного суперкомпьютерного физико-математического моделирования, так и для задач обработки больших объемов данных второй важнейшей технической задачей на пути в «эру экcафлопса» является организация параллельного вводавывода с сотен тысяч и миллионов ядер.
Эти цифры демонстрируют переход к новой эре использования вычислительных методов в науке и технике. В этой работе мы приводим примеры атомистических моделей для решения задач, предполагающих, в перспективе, использование вычислительных полей экзафлопсного уровня производительности. Вместе с тем, ученые не всегда представляют себе, как надо выбирать суперкомпьютер для задачи, которой они занимаются. Тем более, неясной остаётся архитектура требуемых компьютеров. Этим вопросам посвящена вторая часть настоящей работы. Рассматривается подход, позволяющий выявить, для каких задач нужны суперкомпьютеры эксафлопсного класса. Имеются в виду задачи, для решения которых требуется загрузка всего или значительной части суперкомпьютера, т.е. сотен тысяч или даже миллионов вычислительных ядер единовременно под одну задачу. 1. Атомистические модели вещества
Повышение эффективности существующих технологий и разработка новых в
значительной мере связана с использованием более точных представлений о строении вещества
и его свойствах на микроуровне. Соответствующие атомистические модели основываются
на математическом описании межатомного и межмолекулярного взаимодействия [
64 H2O CP2K: DFT with hybrid functionals 1.1. Вода
В связи с тем, что вода является важнейшим примером для молекулярного моделирования, имеющим отношение практически ко всем областям науки и техники, использующиеся для ее моделирования модели представляют большой интерес. По своей природе взаимодействие между атомами и молекулами является квантовым эффектом. Однако вычислительная сложность квантового описания даже при использовании таких подходов, как теория функционала электронной плотности (ТФП), обуславливает необходимость использования эмпирических потенциалов для классического «механического» описания межмолекулярного взаимодействия. На рис. 2 показана зависимость времени расчета на 1 шаг МД интегрирования в классической МД модели воды с 4-х точечным потенциалом TIP4P и в квантовых моделях на основе ТФП и гибридной ТФП, более точно учитывающей эффекты обменного взаимодействия. Классические МД модели воды имеют вычислительную сложность \sim 1.5 МФлоп на 1 молекулу на 1 МД шаг (Флоп — операция с плавающей точкой), которая растет с увеличением числа частиц как O(N ) или O(N log(N )) при явном учете дальнодействующего электростатического взаимодействия. В случае ТФП модели время расчета растет квадратично по отношению к числу молекул: \sim 300N МФлоп на 1 молекулу на 1 МД шаг.
Гидраты природных газов или газовые гидраты — это нестехиометрические соединения включения, в которых молекулы газа (молекулы-гости) заключены в полостях трехмерной решетки из молекул воды (каркас хозяина). Стабилизация водных клатратных каркасов, термодинамически менее стабильных, чем лед или жидкая вода при тех же условиях, обеспечивается за счет ван-дер-ваальсовых взаимодействий гость-хозяин.
Месторождения природных газовых гидратов встречаются на шельфе и в зоне вечной
мерзлоты. Они активно изучаются уже более сорока лет, так как содержат большое
коРис. 3. Фазовая диаграмма гидрата метана (см. [
За последние годы было проведено множество теоретических, экспериментальных и компьютерных исследований газовых гидратов. Проведенные исследования месторождений на Аляске, в Канаде и Японии показывают, что добыча метана из природных гидратов может быть выполнена с использованием существующих технологий. Более того, около побережья Японии недавно была произведена первая в мире пробная добыча газа из месторождения в желобе Нанкай.
Молекулярная динамика позволяет исследовать свойства вещества на
микроскопическом уровне, поэтому ее развитие привело к пониманию ряда фундаментальных свойств
газовых гидратов. МД модели для газовых гидратов существенным образом зависят от
точности описания взаимодействия между молекулами воды. Точность таких моделей сильно
возросла за последнее десятилетие. Наиболее сложные модели, учитывающие поляризацию,
лучше описывают структурные свойства и растворимость молекул газа, тогда как модели
без поляризации лучше подходят для описания фазовой диаграммы [
CH2
CH3
TraPPE • объединенный атом • простая
параметризация DREIDING • нет зарядов • полноатомная • Маленькое время на • средняя
МД шаг параметризация (~0.004 ГФлопс/шаг/мол) • нет зарядов Полноатомное рассмотрение
H C 1.2. Органические жидкости
Модели межатомных потенциалов для органических жидкостей представляют собой хороший пример иерархии огрубления модельных представлений для расширения возможностей прямого численного счета.
Ключевым фактором для достоверности результатов атомистического моделирования является выбор потенциала взаимодействия в модельной системе. Моделирование органических соединений чаще всего производится в рамках концепции “силового поля” (англ. forcefield), когда суммарная энергия Emol взаимодействия молекул вещества представляется в виде суммы вкладов ненаправленного парного взаимодействия Epair, энергии напряжения связей Ebond и углов Eangle в молекулах и энергии вращения по двугранным углам Edihed. Различные параметризации этих взаимодействий позволяют моделировать вещества от простейших углеводородов до белков и ДНК.
Для углеводородов разработан ряд различных наборов параметров силового поля, из них наиболее широко применяются наборы OPLS, DREIDING и TraPPE. Параметризация межатомных потенциалов OPLS позволяет точнее воспроизвести теплофизические свойства жидкой фазы, а параметризация TraPPE предназначена для точного предсказания фазовых диаграмм. DREIDING занимает промежуточное положение (рис. 4). Эти параметризации позволяют с высокой точностью описывать наблюдаемые фазовые диаграммы чистых углеводородов и их смесей (рис. 5).
Особый интерес представляет расчет методом МК свойств жидкостей,
взаимодействующих с поверхностью, например, в порах. Потенциал TraPPE позволяет воспроизвести
экспериментальные теплоты адсорбции углеводородов на силикатных материалах [
Метод МД, в силу универсальности подхода (прямое интегрирование уравнений
двиРис. 5. (Слева) Фазовые диаграммы смеси этан-н-гептан при температурах 63 C и 177 C.
Сопоставление атомистического моделирования с потенциалом TraPPE [
В последнее десятилетие в индустрии конструкционных материалов наблюдается заметный рост интереса к сфере полимерных нанокомпозитов. В первую очередь это обусловлено их необычными механическими свойствами при сравнительно небольшой плотности и высокой коррозийной стойкости. В качестве наполнителя в полимерной матрице могут выступать углеродные волокна, нанотрубки, фуллерены, металлические или иные наночастицы.
Свойства полимерных нанокомпозитов существенным и не вполне очевидным образом зависят от целого ряда параметров: типа, концентрации, ориентации, упругих свойств наполнителя, пластических и термических свойств самой полимерной матрицы. Описание подобной многопараметрической задачи на микроуровне с использованием сугубо экспериментальных методов крайне затруднительно и пока во многом носит эмпирический характер. Свойства полимерных цепей, находящихся в контакте с поверхностью наполнителя, неизбежно отличаются от свойств чистого полимера. В случае нановключений, ввиду большой величины площади их эффективной поверхности, уже при малых концентрациях (порядка нескольких массовых процентов), область интерфейса может охватить существенную часть полимерной матрицы. При этом на свойства материала влияет множество параметров – форма и размер наночастиц, распределение частиц в полимерной матрице, тип и сила взаимодействия полимерной матрицы с наночастицами, температурный режим, запутывание полимерных цепочек и т.д.
Одной из основных особенностей полимерных систем является их четко выраженная
иерархическая структура. Последовательный подход описания при этом должен
охватывать ряд пространственных масштабов начиная от размеров отдельного мономера
(субнанометровый масштаб) до структуры цельной молекулы (десятки-сотни нанометров) и
конфигураций, образующихся в системе многих молекул (субмикронные масштабы) (рис. 6).
Аналогичная иерархия масштабов может быть построена и для шкалы времен
протекаРис. 6. а) Принципиальная схема многомасштабного моделирования полимерных композитов. б)
зависимость вычислительного времени, требуемого на расчёт траектории длительностью в одну
пикосекунду (Tps), от величины задействованных вычислительных ресурсов. Квадраты соответствуют
полноатомной модели, треугольники–огрубленной. Красными линиями обозначено идеальное
масштабирование задач.
Рис. 7. Основные части МД алгоритма на GPU ускорителе.
уместных вариантов. От выбора варианта огрубления напрямую зависит описательная
способность создаваемой упрощённой модели. Среди стохастических методов описания
эволюции атомистических систем стоит также выделить метод диссипативной динамики частиц
(DPD). DPD, так же как и классическая МД, основан на интегрировании систем
уравнений движения Ньютона. Благодаря меньшей вычислительной сложности он позволяет
рассматривать крупные системы, включающие в себя группы из наночастиц
субмикронного размера, и широко используются для изучения процессов агломерации наночатстиц и их
влияния на свойства полимерных матриц [
Безусловно, подобная архитектура существенно повышает производительность в задачах, в которых изначально можно выделить высокую степень параллелизма, частую связанных с операциями над матрицами и векторами. К подобным задачам можно отнести, например линейную алгебру над плотными матрицами, выравнивание последовательностей в биоинформатике или методы машинного обучения на базе искусственных нейронных сетей. Однако, однозначно отнести в эту группу метод молекулярной динамики не представляется возможным, т.к. многие вычислительные приемы в МД создавались в эпоху господства последовательных вычислений. Потому успешное применение подобной архитектуры для расчётов методом молекулярной динамики требует существенной адаптации алгоритмов.
Для максимального использования GPU алгоритм не только должен быть
высокопараллельным, но и кроме того, та часть алгоритма, которая выполняется на GPU, часто
называемая ядром (kernel), должна быть маленькой, насколько возможно — ядро
должно уложиться в число регистров вычислительных единиц GPU. Достичь это в реальных
алгоритмах не всегда просто [
Существуют и фундаментальные проблемы обеспечения высокой степени параллелизма для GPU расчетов МД задач. Принцип SIMD предполагает выполнение одинаковых инструкций для группы потоков. Однако появление в алгоритме ветвлений существенно ухудшает ситуацию. Если в группе потоков разные потоки пошли по разным ветвям алгоритма, то дальнейшие инструкции для них будут уже различными, что нарушает принцип SIMD. Типичным решением является выполнение обеих ветвей алгоритма, что приводит к потерям в производительности.
Ещё одной из проблем является сортировка — практически вездесущая операция, в том числе широко применяемая и в молекулярной динамике при составлении списков соседей и сил. В то время, как на обычных процессорах решение данной задачи является скорее проблемой выбора алгоритма, на GPU создание быстрого и эффективного алгоритма несколько затруднено, ввиду массивно-параллельной архитектуры графических ускорителей.
Таким образом, достижение полной загруженности всех ядер графического ускорителя
— задача вполне нетривиальная. Такая же ситуация имеет место и в других прикладных
областях суперкомпьютерных вычислений. Несмотря на значительный прогресс в адаптации
кодов для использования GPU ускорителей, их эффективность пока не является
предметом исследований. В списке Топ-500 ноября 2014 года в верхней десятке присутствовали 3
системы с Nvidia GPU. Но в то же время в этом списке 7 самых мощных
суперкомпьютеров Германии используют только обычные процессоры и только 8-я немецкая система
(номер 77) имеет ускорители Nvidia. Эти примеры можно рассматривать как
определенную иллюстрацию объемов текущего использования GPU ускорителей (энтузиазм в США
и определенная осторожность в Европе).
3. Перспективы развития суперкомпьютеров за рубежом
Министерство энергетики США (DOE) запустило программу CORAL [
Цель программы CORAL–обеспечить удержание лидерства США в развитии суперкомпьютеров. Уже решено, что request for proposal (RFP) выпускает LLNL. На основании конкурса заключаются два разовых договора на инжиниринг и три контракта на покупку суперкомпьютеров. Оба договора на инжиниринг управляются совместно тремя лабораториями. Для уменьшения рисков и чтобы удовлетворить широкому набору требований предусмотрен выбор двух путей разработки архитектуры суперкомпьютеров, уже объявлено, что Summit и Sierra будут работать на процессорах IBM POWER9 и видеокартах NVIDIA Volta, Aurora–на новом поколении сопроцессоров Intel Xeon Phi, при этом Intel будет вести разработку совместно с Cray.
На этапе подготовки решений все предложения докладываются на заседаниях Advanced Scientific Computing Advisory Committee (ASCAC) Министерства энергетики США. В состав ASCAC входят 9 профессоров 9 ведущих университетов США, в том числе председатель ASCAC, и по одному представителю Microsoft, Google, LLNL, SNL и Pittsburgh Supercomputing Center. Всего 14 человек.
Представителей лабораторий-заказчиков здесь нет.
Поставлены цели, которым должна удовлетворять производительность новой системы, и перечислены тестовые приложения, по которым проверяется достижение этих целей.
Для выделенного режима, т.е. когда масштабируемость под одну задачу охватывает до 90% системы, поставлена цель добиться S > 4.0 при увеличении размерности задачи: числа атомов, узлов сетки и др., где S —- отношение производительности новой системы к производительности текущей системы. Тестовыми приложениями выбраны: первопринципные расчеты основного состояния (LSMS), квантовая молекулярная динамика (QBOX), гравитационная задача N тел (HACC), термогидромеханика (Nekbone). В скобках указаны рекомендуемые пакеты программ.
Для многозадачного режима, занимающего всю систему при одновременном запуске не менее 24 задач, цель поставлено S > 6.0. Тестовыми приложениями выбраны: квантовый метод Монте-Карло (QMCPACK), классическая молекулярная динамика (NAMD), динамика атмосферы (CAM-SE), многосеточный солвер (AMG2013), метод конечных элементов (MiniFE), гидродинамика ударно-волновых явлений (LULESH), перенос излучения (неструктурированные сетки) (UMT2013), перенос излучения (структурированные сетки) (SNAP), метод Монте-Карло (задачи переноса) (MCB).
Требования по LINPACK и месту в Топ-500 вообще не фигурируют.
Кроме этого, в ORNL выбрали 13 широко использующихся программных кодов из различных областей для портирования и оптимизации приложений на новый гибридный суперкомпьютер Summit. Разработчики получат ранний доступ к суперкомпьютеру и техническую поддержку от IBM и NVIDIA.
После определения победителей конкурса предусмотрено многолетнее сотрудничество между лабораторией-заказчиком и компанией-победительницей с целью достижения наивысшей производительности. Каждая из трёх лабораторий самостоятельно проводит переговоры по заключению и управлению контрактом на покупку суперкомпьютера и может выставлять свои специальные требования к контракту. 4. Заключение
Рассмотрены примеры задач, обладающих масштабируемостью на суперкомпьютеры экзафлопсного класса, для перспективных задач энергетики, физики, химии и других естественных наук. Развивается подход, который позволяет определить, может ли решение той или иной задачи загрузить единовременно сотни тысяч или даже миллионы вычислительных ядер в одном расчете и нужно ли это. Основная идея заключается, с одной стороны, в проверке масштабируемости алгоритмов при переходе к большему числу вычислительных ядер, а, с другой, в теоретической оценке размеров физической системы, рассмотрение которой требуется для решения поставленной задачи. Развиваемый подход позволяет установить перспективу нарастания сложности задач, принадлежащих к одному научному направлению, возможность решения которых будет открываться с прогрессом развития суперкомпьютеров.
Сегодня для удержания лидерства США в развитии суперкомпьютеров Министерство энергетики США (DOE) запустило на 2013-2017 годы программу CORAL. Поставлены цели, которым должна удовлетворять производительность новых систем, и перечислены тестовые приложения, ориентированные на решение ясно определенного списка прикладных задач, по которым проверяется достижение этих целей.
Пример текущего распределения суперкомпьютеров в Германии показывает осторожность, с которой идет создание больших гибридных систем на GPU-ускорителях в Европе. Несмотря на активное развитие новых технологий, наибольшую эффективность для решения задач имеют обычные процессоры.
В данной ситуации отношение к развитию суперкомпьютеров в России требует определенного переосмысления. Главным является переход к ситуации, когда заказчиками на разработку новых суперкомпьютеров станут квалифицированные пользователи, владеющие задачами, которые могут эти суперкомпьютеры эффективно загрузить.
В действительности, эта весьма давняя традиция — два примера из практики IBM
прошедших десятилетий. При разработке архитектуры суперкомпьютеров IBM BlueGene/L
задачи молекулярного моделирования рассматривались в качестве главного приоритета [