Параллельный программный комплекс новой версии глобальной модели атмосферы ПЛАВ предназначен как для прогноза погоды, так и для моделирования изменений климата. Представлены работы по повышению масштабируемости этого комплекса за счет увеличения количества нитей OpenMP, а также оптимизации обращений в оперативную память. Обсуждаются результаты новой версии модели для численных среднесрочных прогнозов погоды, а также результаты моделирования изменений климата по протоколу международного эксперимента AMIP2. Ключевые слова: численный прогноз погоды, моделирование изменений климата, параллельный программный комплекс.
Численный прогноз погоды и моделирование изменений
климата многомасштабной моделью атмосферы*
вье-Стокса (уравнения Рейнольдса) на вращающейся сфере, записанные в приближениях
Буссинеска и гидростатики. Для их решения используется широко используемый в моделях
прогноза погоды полулагранжев подход к представлению адвекции (переноса) [
Оригинальными особенностями блока решения уравнений динамики атмосферы модели
ПЛАВ являются применение конечных разностей четвертого порядка на несмещенной сетке
для аппроксимации неадвективных слагаемых уравнений и использование вертикальной
компоненты абсолютного вихря и дивергенции в качестве прогностических переменных.
Существенным элементом для модели атмосферы, основанной на переменных «вертикальный
компонент абсолютной завихренности – горизонтальная дивергенция», является быстрый и точный
алгоритм восстановления компонент горизонтальной скорости ветра, описанный в [
В блоке параметризаций рассчитываются правые части уравнений, описывающие источники и стоки подсеточного масштаба для импульса, тепла и влаги, например, вследствие процесса глубокой конвекции.
Описание программной реализации модели на основе сочетания технологий MPI и OpenMP
(гибридной технологии) описывается в [
В настоящее время общий объем кода с комментариями превысил 100000 строк. В свою очередь, в блоке решения уравнений динамики выделяются явные вычисления в сеточном пространстве, с заметным шаблоном зависимости по данным по горизонтали, а также вычисления в пространстве коэффициентов Фурье по долготе. В этом блоке имеются рекурсивные зависимости по широте, однако по волновым числам (по долготе) и по вертикальной координате зависимостей не имеется. В наборе параметризаций процессов подсеточного масштаба (солнечная радиация, вертикальная диффузия и пр.) расчеты ведутся независимо для любых точек горизонтальной сетке, однако во многих параметризациях имеются рекурсивные зависимости по вертикали.
Для разных блоков применяются различные подходы. В блоке явных вычислений динамики и наборе параметризаций процессов подсеточного масштаба, почти все программные модули были ранее организованы так, чтобы обрабатывать весь круг широты (при фиксированной широте). Такая организация вычислений была естественной для одномерной декомпозиции расчетной области по широте. Теперь все программные модули в указанных блоках организованы так, чтобы они могли обрабатывать произвольную часть круга широты. Для каждого процесса MPI организован цикл по нитям OpenMP, который является внешним по отношению к существующему циклу по широте. Каждая нить обрабатывает свою полосу долгот. Данная организация вычислений представлена на рисунке 1 (слева).
Для блока, выполняющего вычисления в пространстве коэффициентов Фурье по долготе (решения эллиптического уравнения, восстановление компонент скорости), дополнительно к распараллеливанию по полосе волновых чисел, обрабатываемой каждым MPI процессом независимо, ранее было реализовано распараллеливание по OpenMP по тем же полосам. Это также ограничивало максимально возможное количество используемых процессорных ядер. Чтобы повысить количество используемых процессорных нитей, вместо дополнительного распараллеливания цикла по волновым числам, OpenMP применяется теперь для распараллеливания циклов по вертикальной координате (рисунок 1, справа).
Рис. 1. Слева: распараллеливание по долготе в вычислениях «явной динамики» в случае 4 нитей OpenMP. Справа: распараллеливание по вертикальной координате в вычислениях в пространстве коэффициентов Фурье в случае 4 нитей OpenMP. Разные цвета соответствуют разным нитям OpenMP. Выполнение данных работ уменьшило необходимый объем рабочих массивов, особенно заметный в блоке параметризаций процессов подсеточного масштаба. В этом блоке рабочие массивы для каждого MPI процесса ранее имели примерный объем Nlon x Nlev x Nopenmp x 100 (значения в современной версии модели: количество узлов сетки по долготе Nlon= 1600, количество уровней по вертикали Nlev=51). Теперь же независимо от количества нитей OpenMP этот объем составляет Nlon x Nlev x 100. Экономия достигнута и в других блоках модели, однако в блоке «явной» динамики объем рабочих массивов в несколько раз меньше, а в блоке вычислений в пространстве коэффициентов Фурье – еще в несколько раз меньше, чем в блоке «явной» динамики.
После реализации данных изменений в коде, модель была проверена на численном среднесрочном прогнозе погоды. Теперь программный комплекс модели может использовать как минимум 16 нитей OpenMP на один MPI процесс на тех же вычислительных узлах.
Для новой версии глобальной модели атмосферы ПЛАВ разработана система параллельного ввода-вывода, которая заменила собой алгоритм взаимодействия с файловой системой, основанный на мастер-процессе.
Разработанная система реализует возможность выполнения операций чтения-записи как
вычислительными MPI процессами, так и дополнительными (не расчетными) процессами.
Подобный подход позволяет адаптировать систему ввода-вывода под особенности конкретной
задачи. В случае относительно редкого обращения к файловой системе (запись промежуточных
результатов и контрольных точек модели) используется некоторая часть вычислительных
процессов. Далее такие вычислительные процессы мы будем называть гибридными.
Использование дополнительных процессов, основной функцией которых является выполнение не
блокирующих вычисления операций чтения и записи, становится актуальным, когда происходит
частое обращение к дисковому пространству (например, отладка программного кода или
тестирование модели). Промежуточный вариант, при котором операции ввода-вывода осуществляются
как гибридными (вычислительными), так и дополнительными процессами может применяться в
случае неоднородной вычислительной среды или в задачах с неоднородно распределенной
структурой данных. Описание системы приведено в [
Модель общей циркуляции атмосферы, ориентированная на воспроизведения каких-либо временных масштабов, должна адекватно воспроизводить процессы всех временных масштабов. Кроме того, затраты на поддержку нескольких различных версий одной и той же модели, отличающихся наборами используемых параметризаций, номенклатурой прогностических полей и др. неоправданно высоки. Поэтому была поставлена задача создания глобальной модели для бесшовного прогноза с заблаговременностью от дня до нескольких лет, на основе унификации нескольких версий модели ПЛАВ.
На основе ранее разработанных версий глобальной модели атмосферы ПЛАВ создана унифицированная версия модели. Эта версия может быть использована как для численного прогноза погоды различенной заблаговременности, так и для моделирования изменений климата, таким образом, она является многомасштабной. Параметризации процессов подсеточного масштаба в основном соответствуют новой версии модели, предназначенной для среднесрочного прогноза погоды.
В режиме моделирования климата в программном комплексе унифицированной версии модели предусмотрено периодическое изменение нижних граничных условий, а также выдача необходимых характеристик в соответствии с требованиями протоколов международных экспериментов AMIP, CHFP и т.п. (например, всех компонент потоков импульса, тепла и влаги на поверхности). Вывод данных, необходимый для моделирования изменений климата, был распараллелен с помощью технологии MPI путем сбора данных на мастер-процессор. Горизонтальное разрешение модели в конфигурации для исследования изменений климата составляет 0.9х0.72 градуса по долготе и широте соответственно, 28 уровней по вертикали (совпадает с разрешением оперативной версии, предназначенной для среднесрочного прогноза погоды). 4. Результаты численных прогнозов погоды и моделирования изменений климата
Унифицированная версия модели была проверена на среднесрочном прогнозе погоды с заблаговременностью 120 часов для января и июля 2014года. Прогнозы стартовали с начальных данных за срок 12 часов ВСВ. Результаты приведены в [12]. За счет более совершенных параметризаций процессов подсеточного масштаба и усовершенствований динамического ядра ошибки среднесрочного прогноза несколько меньше у унифицированной версии модели.
С помощью унифицированной версии модели ПЛАВ был выполнен экспериментальный расчет атмосферной циркуляции на шесть лет по протоколу международного эксперимента AMIP2 с известными, меняющимися во времени полями температуры поверхности океана и концентрации морского льда, для начальных данных за 01 января 1979 года.
Предварительные оценки модельной климатологии, приведенные в [12], показывают, что модель воспроизводит основные крупномасштабные особенности наблюдаемой атмосферной динамики. С момента публикации [12] был выполнен ряд работ по уточнению настроек модели. На рисунке 2 слева приводится среднегодовое поле осадков в модели согласно данным [13], а справа – по результатам модели. Рис.2. Среднегодовые осадки по данным наблюдений (слева) и по результатам модели (справа). Литература И.Н., Юрова А.Ю. Разработка многомасштабной версии глобальной модели атмосферы ПЛАВ. Метеорология и гидрология. 2015. № 6. С. 25-35.
13. Xie P., and P. A. Arkin, 1996: Global precipitation: a 17-year monthly analysis based on gauge observations, satellite estimates, and numerical model outputs. Bull. Amer. Meteor. Soc., 78, 2539-2558. Numerical weather prediction and climate change modeling using multiscale atmospheric model
Parallel program complex of the new version of the global atmosphere model SL-AV is intended both for numerical weather prediction and climate changes modeling. The works on scalability increase for this complex are presented. This is achieved using increased number of OpenMP threads and also memory access optimization. The results for the new model version numerical weather forecasts are discussed. Also, the results of climate change modelling according to the AMIP2 international project protocol are described.
1. Tolstykh M.A. Global'naya polulagranzheva model' chislennogo prognoza pogody [Global semi-Lagrangian model for numerical weather prediction]. Moscow, Obninsk: OAO FOP, 2010. 111 pp. noi konferencii `Superkomputernie dni Rossii, Moskva 28-29 sentiabrya 2015 г.» [Procs. Intnl. Conf. ‘Russian Supercomputing days’15]. 28-29.09.2015. Moscow, MSU publishers, 2015. P. 356-367.
12. Tolstykh M. A., Geleyn J.-F., Volodin E. M., Bogoslovskii N. N.,Vilfand R. M., Kiktev D. B., Krasjuk T. V., Kostrykin S. V., Mizyak V. G., Fadeev R. Yu., Shashkin V. V., Shlyaeva A. V., Ezau I. N., Yurova A. Yu. Development of the Multiscale Version of the SL-AV Global Atmosphere Model. Russian Meteorology and Hydrology, 2015, Vol. 40, No. 6, pp. 374–382.
13. Xie P., and P. A. Arkin, 1996: Global precipitation: a 17-year monthly analysis based on gauge observations, satellite estimates, and numerical model outputs. Bull. Amer. Meteor. Soc., 78, 2539-2558.