Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt Численный прогноз погоды и моделирование изменений климата многомасштабной моделью атмосферы* М.А. Толстых1,2, Р.Ю. Фадеев1, В.Г. Мизяк2 Институт вычислительной математики РАН1, Гидрометцентр России2 Параллельный программный комплекс новой версии глобальной модели атмосферы ПЛАВ предназначен как для прогноза погоды, так и для моделирования изменений климата. Представлены работы по повышению масштабируемости этого комплекса за счет увеличения количества нитей OpenMP, а также оптимизации обращений в оперативную память. Обсуждаются результаты новой версии модели для численных среднесрочных прогнозов погоды, а также результаты моделирования изменений климата по протоколу международного эксперимента AMIP2. Ключевые слова: численный прогноз погоды, моделирование изменений климата, па- раллельный программный комплекс. 1. Введение Оперативный численный прогноз погоды налагает ограничение на допустимое время счета модели атмосферы – не более 10–20 минут на расчет прогноза на 24 часа. Для моделей климата необходимо рассчитывать множество расчетов с характерной производительностью 3-5 мо- дельных лет за астрономические сутки. Кроме того, в системе усвоения данных атмосферных наблюдений на каждом цикле необходимо рассчитывать порядка 100 краткосрочных прогно- зов. Размерность вычислительной области в современных глобальных моделях прогноза пого- ды составляет порядка 108 (1000 × 1000 × 100), что определяется необходимостью разрешения мезомасштабных синоптических процессов. Таким образом, глобальное моделирование атмо- сферы требует огромных вычислительных ресурсов. Практические реализации таких моделей в мировых центрах используют порядка тысяч процессоров. Развитие моделей атмосферы будет требовать эффективного использования де- сятков и сотен тысяч процессорных ядер. Поэтому программный комплекс прогностической модели атмосферы должен хорошо масштабироваться на компьютерах с массивно- параллельной архитектурой. 2. Глобальная модель атмосферы ПЛАВ Основной моделью глобального среднесрочного прогноза погоды в России с 2010 года яв- ляется глобальная полулагранжева модель атмосферы ПЛАВ (ПолуЛагранжева, основанная на уравнении Абсолютной заВихренности) [1]. Блок решения уравнений динамики атмосферы разработан в Институте вычислительной математики РАН и Гидрометцентре России. В модели ПЛАВ наряду с блоком решения уравнений динамики атмосферы собственной разработки в основном применяются алгоритмы параметризаций процессов подсеточного масштаба, разра- ботанные под руководством Ж.-Ф.Желена возглавляемым Францией консорциумом по мезо- масштабному прогнозу погоды ALADIN/LACE [2, 3]. В модель также включена отечественная параметризация крупномасштабных осадков [4] и модель многослойной почвы [5]. В совре- менную версию модели также входят свободно распространяемые параметризации коротко- волновой и длинноволновой радиации (CLIRAD [6] и RRTM [7] соответственно). Программный комплекс полулагранжевой модели атмосферы ПЛАВ [1, 8] состоит из бло- ка решения уравнений динамики атмосферы и набора параметризаций процессов подсеточного масштаба. Уравнения динамики атмосферы представляют собой осредненные уравнения На- * Раздел 3 выполнен при поддержке Программы фундаментальных исследований Президиума РАН №33 (№4 в 2015г). 721 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt вье-Стокса (уравнения Рейнольдса) на вращающейся сфере, записанные в приближениях Бус- синеска и гидростатики. Для их решения используется широко используемый в моделях про- гноза погоды полулагранжев подход к представлению адвекции (переноса) [9] и полунеявный метод интегрирования по времени. Сущность этого метода состоит в линеаризации уравнений относительно некоторого стационарного состояния и последующей записи нелинейных слагае- мых уравнений динамики в виде суммы линейной части и нелинейного остатка. Линейная часть затем интегрируется по времени с помощью неявной схемы Кранк-Николсон; остаток интегри- руется по явной схеме. Оригинальными особенностями блока решения уравнений динамики атмосферы модели ПЛАВ являются применение конечных разностей четвертого порядка на несмещенной сетке для аппроксимации неадвективных слагаемых уравнений и использование вертикальной ком- поненты абсолютного вихря и дивергенции в качестве прогностических переменных. Суще- ственным элементом для модели атмосферы, основанной на переменных «вертикальный ком- понент абсолютной завихренности – горизонтальная дивергенция», является быстрый и точный алгоритм восстановления компонент горизонтальной скорости ветра, описанный в [10]. Чис- ленные методы, применяемые в модели ПЛАВ, на тестовых задачах не уступают в точности спектральному методу решения уравнений динамики атмосферы, что было показано в [10]. В блоке параметризаций рассчитываются правые части уравнений, описывающие источни- ки и стоки подсеточного масштаба для импульса, тепла и влаги, например, вследствие процесса глубокой конвекции. Описание программной реализации модели на основе сочетания технологий MPI и OpenMP (гибридной технологии) описывается в [10]. Код модели атмосферы ПЛАВ был проверен на масштабируемость на вычислительных системах РСК Торнадо и МВС-10п (установлена в Межведомственном суперкомпьютерном центре РАН). Разрешение современной версии модели составляет 0,225 градуса по долготе, по широте шаг сетки изменяется от 0,18 градуса в Северном полушарии до 0,25 градуса в южном, по вертикали - 51 неравномерно расположенных сигма-уровней. Размеры расчетной области составляют при этом 1600х866х51. При расчетах использовалось 4 нити OpenMP. Модель ПЛАВ при данном пространственном разрешении эффективно масштабируется до 1152 ядер. При увеличении количества ядер от 432 до 864 наблюдается суперлинейное ускорение, что, по всей видимости, вызвано эффективным использованием кэш-памяти процессоров. Общепринятой для моделей численного прогноза погоды и моделирования климата мерой эффективности является параллельное ускорение кода, равное 55-65 % от теоретического (при использовании тысяч процессоров). Тем не менее, в существующей версии программного комплекса модели при указанном выше разрешении можно использовать не более 288 процессов MPI. Это и мотивировало работы по повышению масштабируемости программной реализации модели. 3. Повышение масштабируемости кода модели ПЛАВ В настоящее время общий объем кода с комментариями превысил 100000 строк. В свою очередь, в блоке решения уравнений динамики выделяются явные вычисления в сеточном про- странстве, с заметным шаблоном зависимости по данным по горизонтали, а также вычисления в пространстве коэффициентов Фурье по долготе. В этом блоке имеются рекурсивные зависи- мости по широте, однако по волновым числам (по долготе) и по вертикальной координате зави- симостей не имеется. В наборе параметризаций процессов подсеточного масштаба (солнечная радиация, вертикальная диффузия и пр.) расчеты ведутся независимо для любых точек гори- зонтальной сетке, однако во многих параметризациях имеются рекурсивные зависимости по вертикали. Для разных блоков применяются различные подходы. В блоке явных вычислений дина- мики и наборе параметризаций процессов подсеточного масштаба, почти все программные мо- дули были ранее организованы так, чтобы обрабатывать весь круг широты (при фиксированной широте). Такая организация вычислений была естественной для одномерной декомпозиции расчетной области по широте. Теперь все программные модули в указанных блоках организо- ваны так, чтобы они могли обрабатывать произвольную часть круга широты. Для каждого про- цесса MPI организован цикл по нитям OpenMP, который является внешним по отношению к 722 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt существующему циклу по широте. Каждая нить обрабатывает свою полосу долгот. Данная ор- ганизация вычислений представлена на рисунке 1 (слева). Для блока, выполняющего вычисления в пространстве коэффициентов Фурье по долготе (решения эллиптического уравнения, восстановление компонент скорости), дополнительно к распараллеливанию по полосе волновых чисел, обрабатываемой каждым MPI процессом неза- висимо, ранее было реализовано распараллеливание по OpenMP по тем же полосам. Это также ограничивало максимально возможное количество используемых процессорных ядер. Чтобы повысить количество используемых процессорных нитей, вместо дополнительного распаралле- ливания цикла по волновым числам, OpenMP применяется теперь для распараллеливания цик- лов по вертикальной координате (рисунок 1, справа). Рис. 1. Слева: распараллеливание по долготе в вычислениях «явной динамики» в случае 4 нитей OpenMP. Справа: распараллеливание по вертикальной координате в вычислениях в пространстве коэф- фициентов Фурье в случае 4 нитей OpenMP. Разные цвета соответствуют разным нитям OpenMP. Выполнение данных работ уменьшило необходимый объем рабочих массивов, особенно заметный в блоке параметризаций процессов подсеточного масштаба. В этом блоке рабочие массивы для каждого MPI процесса ранее имели примерный объем Nlon x Nlev x Nopenmp x 100 (значения в современной версии модели: количество узлов сетки по долготе Nlon= 1600, коли- чество уровней по вертикали Nlev=51). Теперь же независимо от количества нитей OpenMP этот объем составляет Nlon x Nlev x 100. Экономия достигнута и в других блоках модели, одна- ко в блоке «явной» динамики объем рабочих массивов в несколько раз меньше, а в блоке вы- числений в пространстве коэффициентов Фурье – еще в несколько раз меньше, чем в блоке «явной» динамики. После реализации данных изменений в коде, модель была проверена на численном средне- срочном прогнозе погоды. Теперь программный комплекс модели может использовать как ми- нимум 16 нитей OpenMP на один MPI процесс на тех же вычислительных узлах. Для новой версии глобальной модели атмосферы ПЛАВ разработана система параллельно- го ввода-вывода, которая заменила собой алгоритм взаимодействия с файловой системой, осно- ванный на мастер-процессе. Разработанная система реализует возможность выполнения операций чтения-записи как вычислительными MPI процессами, так и дополнительными (не расчетными) процессами. По- добный подход позволяет адаптировать систему ввода-вывода под особенности конкретной задачи. В случае относительно редкого обращения к файловой системе (запись промежуточных результатов и контрольных точек модели) используется некоторая часть вычислительных про- цессов. Далее такие вычислительные процессы мы будем называть гибридными. Использова- 723 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt ние дополнительных процессов, основной функцией которых является выполнение не блоки- рующих вычисления операций чтения и записи, становится актуальным, когда происходит ча- стое обращение к дисковому пространству (например, отладка программного кода или тестиро- вание модели). Промежуточный вариант, при котором операции ввода-вывода осуществляются как гибридными (вычислительными), так и дополнительными процессами может применяться в случае неоднородной вычислительной среды или в задачах с неоднородно распределенной структурой данных. Описание системы приведено в [11]. 3. Унифицированная многомасштабная версия модели Модель общей циркуляции атмосферы, ориентированная на воспроизведения каких-либо временных масштабов, должна адекватно воспроизводить процессы всех временных масшта- бов. Кроме того, затраты на поддержку нескольких различных версий одной и той же модели, отличающихся наборами используемых параметризаций, номенклатурой прогностических по- лей и др. неоправданно высоки. Поэтому была поставлена задача создания глобальной модели для бесшовного прогноза с заблаговременностью от дня до нескольких лет, на основе унифика- ции нескольких версий модели ПЛАВ. На основе ранее разработанных версий глобальной модели атмосферы ПЛАВ создана унифицированная версия модели. Эта версия может быть использована как для численного прогноза погоды различенной заблаговременности, так и для моделирования изменений кли- мата, таким образом, она является многомасштабной. Параметризации процессов подсеточного масштаба в основном соответствуют новой версии модели, предназначенной для среднесрочно- го прогноза погоды. В режиме моделирования климата в программном комплексе унифицированной версии мо- дели предусмотрено периодическое изменение нижних граничных условий, а также выдача необходимых характеристик в соответствии с требованиями протоколов международных экс- периментов AMIP, CHFP и т.п. (например, всех компонент потоков импульса, тепла и влаги на поверхности). Вывод данных, необходимый для моделирования изменений климата, был рас- параллелен с помощью технологии MPI путем сбора данных на мастер-процессор. Горизон- тальное разрешение модели в конфигурации для исследования изменений климата составляет 0.9х0.72 градуса по долготе и широте соответственно, 28 уровней по вертикали (совпадает с разрешением оперативной версии, предназначенной для среднесрочного прогноза погоды). 4. Результаты численных прогнозов погоды и моделирования измене- ний климата Унифицированная версия модели была проверена на среднесрочном прогнозе погоды с за- благовременностью 120 часов для января и июля 2014года. Прогнозы стартовали с начальных данных за срок 12 часов ВСВ. Результаты приведены в [12]. За счет более совершенных пара- метризаций процессов подсеточного масштаба и усовершенствований динамического ядра ошибки среднесрочного прогноза несколько меньше у унифицированной версии модели. С помощью унифицированной версии модели ПЛАВ был выполнен экспериментальный расчет атмосферной циркуляции на шесть лет по протоколу международного эксперимента AMIP2 с известными, меняющимися во времени полями температуры поверхности океана и концентрации морского льда, для начальных данных за 01 января 1979 года. Предварительные оценки модельной климатологии, приведенные в [12], показывают, что модель воспроизводит основные крупномасштабные особенности наблюдаемой атмосферной динамики. С момента публикации [12] был выполнен ряд работ по уточнению настроек модели. На рисунке 2 слева приводится среднегодовое поле осадков в модели согласно данным [13], а справа – по результатам модели. 724 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt Рис.2. Среднегодовые осадки по данным наблюдений (слева) и по результатам модели (справа). Литература 1. Толстых М.А. Глобальная полулагранжева модель численного прогноза погоды. М, Об- нинск: ОАО ФОП , 2010. 111 стр. 2. De Troch R., Hamdi R., van de Vyver H., Geleyn J.-F., Termonia P. Multiscale Performance of the ALARO-0 Model for Simulating Extreme Summer Precipitation Climatology in Belgium // J. Climate. 2013. V. 26 P. 8895-8915. 3. Geleyn J.-F., Bazile E., Bougeault P., Deque M., Ivanovici V., Joly A., Labbe L., Piedelievre J.-P., Piriou J.-M., Royer J.-F. Atmospheric parameterization schemes in Meteo-France's ARPEGE N.W.P. model // Parameterization of subgrid-scale physical processes, ECMWF Seminar proceed- ings. - Reading, UK: 1994. P. 385-402. 4. Кострыкин С.В., Эзау И.Н. Динамико-стохастическая схема расчета крупномасштабных осадков и облачности // Метеорология и гидрология. 2001. № 7. С. 23-39. 5. Володин Е.М., Лыкосов В.Н. Параметризация процессов тепло- и влагообмена в систе- ме растительность - почва для моделирования общей циркуляции атмосферы. 1. Описание и расчеты с использованием локальных данных // Известия РАН. Физика атмосферы и океана. 1998. Т. 34, № 4. С. 453-465. 6. Tarasova T., Fomin B. The Use of New Parameterizations for Gaseous Absorption in the CLIRAD-SW Solar Radiation Code for Models // J. Atmos. and Oceanic Technology. 2007. V. 24, № 6. P. 1157–1162. 7. Mlawer E.J., Taubman S.J., Brown P.D., Iacono M.J. and Clough S.A.: RRTM, a validated correlated-k model for the longwave radiation// J. Geophys. Res. 1997. V. 102, N 16, 663-16, 682. 8. Толстых М.А., Мизяк В.Г. Параллельная версия полулагранжевой модели ПЛАВ с го- ризонтальным разрешением порядка 20 км. // Труды Гидрометеорологического научно- исследовательского центра Российской Федерации. 2011, вып. 346. C. 181-190. 9. Staniforth A., Côté J. Semi-Lagrangian integration schemes for atmospheric models. A re-view // Mon. Weather Rev. 1991. V. 119. P. 2206–2223. 10. Tolstykh M.A., Shashkin V.V. Vorticity–divergence mass-conserving semi-Lagrangian shal- low-water model using the reduced grid on the sphere // J. Comput. Phys. 2012. V. 231. P. 4205-4233. 11. Толстых М.А., Фадеев Р.Ю., Мизяк В.Г. Шашкин В.В. Параллельный программный комплекс модели атмосферы для прогноза погоды и моделирования климата. Сборник трудов международной конференции «СУПЕРКОМПЬЮТЕРНЫЕ ДНИ В РОССИИ Москва, 28-29 сентября 2015 г.» 2015, изд. дом МГУ, с 356-367. 12. Толстых М.А., Желен Ж.Ф., Володин Е.М., Богословский Н.Н., Вильфанд Р.М., Киктев Д.Б., Красюк Т.В., Кострыкин С.В., Мизяк В.Г., Фадеев Р.Ю., Шашкин В.В., Шляева А.В., Эзау 725 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt И.Н., Юрова А.Ю. Разработка многомасштабной версии глобальной модели атмосферы ПЛАВ. Метеорология и гидрология. 2015. № 6. С. 25-35. 13. Xie P., and P. A. Arkin, 1996: Global precipitation: a 17-year monthly analysis based on gauge observations, satellite estimates, and numerical model outputs. Bull. Amer. Meteor. Soc., 78, 2539-2558. 726 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt Numerical weather prediction and climate change modeling using multiscale atmospheric model M.A.Tolstykh1,2, R.Yu. Fadeev1, V.G.Mizyak2 Institute of Numerical Mathematics RAS1, Hydrometcentre of Russia2 Parallel program complex of the new version of the global atmosphere model SL-AV is in- tended both for numerical weather prediction and climate changes modeling. The works on scalability increase for this complex are presented. This is achieved using increased number of OpenMP threads and also memory access optimization. The results for the new model version numerical weather forecasts are discussed. Also, the results of climate change mod- elling according to the AMIP2 international project protocol are described. Keywords: numerical weather prediction. Climate change modelling, parallel program complex. References 1. Tolstykh M.A. Global'naya polulagranzheva model' chislennogo prognoza pogody [Global semi-Lagrangian model for numerical weather prediction]. Moscow, Obninsk: OAO FOP, 2010. 111 pp. 2. De Troch R., Hamdi R., van de Vyver H., Geleyn J.-F., Termonia P. Multiscale Performance of the ALARO-0 Model for Simulating Extreme Summer Precipitation Climatology in Belgium // J. Climate. 2013. V. 26 P. 8895-8915. 3. Geleyn J.-F., Bazile E., Bougeault P., Deque M., Ivanovici V., Joly A., Labbe L., Piedelievre J.-P., Piriou J.-M., Royer J.-F. Atmospheric parameterization schemes in Meteo-France's ARPEGE N.W.P. model // Parameterization of subgrid-scale physical processes, ECMWF Seminar proceed- ings. - Reading, UK: 1994. P. 385-402. 4. Kostrykin S.V., Ezau I.N. A Dynamic-Stochastic Scheme for Predicting Large-Scale Precipi- tation and Clouds. // Russian Meteorology and Hydrology. 2001. N7 . P. 23-39. 5. Volodin E.M., Lykossov V.N. Parametrization of Heat and Moisture Transfer in the Soil– Vegetation System for Use in Atmospheric General Circulation Models: 1. Formulation and Simula- tions Based on Local Observational Data // Izvestiya, Atmospheric and Oceanic Physics. 1998. V. 34, № 4. P. 402-416. 6. Tarasova T., Fomin B. The Use of New Parameterizations for Gaseous Absorption in the CLIRAD-SW Solar Radiation Code for Models // J. Atmos. and Oceanic Technology. 2007. V. 24, № 6. P. 1157–1162. 7. Mlawer E.J., Taubman S.J., Brown P.D., Iacono M.J. and Clough S.A.: RRTM, a validated correlated-k model for the longwave radiation// J. Geophys. Res. 1997. V. 102, N 16, 663-16, 682. 8. Tolstykh M.A., Mizyak V.G. Parallel'naya versiya polulagranzhevoy modeli PLAV s gori- zontal'nym razresheniem poryadka 20 km. [ Parallel version of the semi-lagrangian model SL-AV with the horizontal resolution of about 20 km] // Trudy Gidrometeorologiceskogo naucno- issledovatelskogo tsentra Rossiiskoi Federacii. [Proceedings of Hydrometcentre of Russia] 2011, N 346. P. 181-190. 9. Staniforth A., Côté J. Semi-Lagrangian integration schemes for atmospheric models. A re- view // Mon. Weather Rev. 1991. V. 119. P. 2206–2223. 10. Tolstykh M.A., Shashkin V.V. Vorticity–divergence mass-conserving semi-Lagrangian shal- low-water model using the reduced grid on the sphere // J. Comput. Phys. 2012. V. 231. P. 4205-4233. 11. Tolstykh M.A., Fadeev R.Yu., Mizyak V.G. , Shashkin V.V. Parallel'nyy programmnyy kom- pleks modeli atmosfery dlya prognoza pogody i modelirovaniya klimata. [Parallel program complex of the atmosphere model for weather prediction and climate modeling.] Sbornik trudov mezhdunarod- 727 Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt noi konferencii `Superkomputernie dni Rossii, Moskva 28-29 sentiabrya 2015 г.» [Procs. Intnl. Conf. ‘Russian Supercomputing days’15]. 28-29.09.2015. Moscow, MSU publishers, 2015. P. 356-367. 12. Tolstykh M. A., Geleyn J.-F., Volodin E. M., Bogoslovskii N. N.,Vilfand R. M., Kiktev D. B., Krasjuk T. V., Kostrykin S. V., Mizyak V. G., Fadeev R. Yu., Shashkin V. V., Shlyaeva A. V., Ezau I. N., Yurova A. Yu. Development of the Multiscale Version of the SL-AV Global Atmosphere Mod- el. Russian Meteorology and Hydrology, 2015, Vol. 40, No. 6, pp. 374–382. 13. Xie P., and P. A. Arkin, 1996: Global precipitation: a 17-year monthly analysis based on gauge observations, satellite estimates, and numerical model outputs. Bull. Amer. Meteor. Soc., 78, 2539-2558. 728