<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Матричные методы в задачах механики жидкости</article-title>
      </title-group>
      <pub-date>
        <year>2015</year>
      </pub-date>
      <fpage>238</fpage>
      <lpage>245</lpage>
      <abstract>
        <p>Матричный подход используется для моделирования и исследования устойчивости осесимметричных течений несжимаемой жидкости. Для решения системы нелинейных дискретизованных уравнений Навье-Стокса используется метод Ньютона в матричном виде. Для исследования устойчивости течения относительно трехмерных возмущений используется метод обратной итерации и метод Арнольди. Решение систем линейных уравнений реализуется прямым мультифронтальным методом, реализованным в пакете MUMPS. На основе применения матричного метода для численного бенчмарка для модели роста кристаллов по Чохральскому удалость получить решение на сверхподробной сетке с 125M неизвестных при использовании 65 процессоров с памятью 24 ГБ на СК «Ломоносов».</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        Целью данной работы является определение границ устойчивости течения расплавов в
представленных конфигурациях роста кристаллов [
        <xref ref-type="bibr" rid="ref2 ref3">2-4</xref>
        ] на сверхподробных сетках,
недоступных для расчетов на персональных компьютерах. Моделирование ведется на основе уравнений
Навье-Стокса в приближении Буссинеска. Для решения задачи используются матричные
методы, позволяющие определять основное течение с помощью метода Ньютона и его устойчивость
относительного малых возмущений. Задача об устойчивости течения сводится к решению
обобщенной задачи на собственные значения. Решение возникающих на обоих шагах
разреженых линейных систем уравнений осуществляется на основе LU декомпозиции с помощью
открытого пакета MUMPS, поддерживающего многопроцессорный режим на основе MPI.
      </p>
      <p>
        На основе проведенных расчетов для бенчмарка по росту кристаллов по методу
Чохральского для больших чисел Прандтля [
        <xref ref-type="bibr" rid="ref3">3, 4</xref>
        ] получены решения на сетках до 5000×5000 точек.
2. Постановка задачи
      </p>
      <p>Гидродинамическая модель роста кристаллов по Чохральскому представляет собой
цилиндрический объем жидкости (расплава) высоты H и радиуса Rc (рис. 1). Боковая и нижняя
стороны ограничены тиглем, с верхней стороны при r &lt; Rx находится диск (кристалл), вне диска для
Rx &lt; r &lt; Rc поверхность является свободной.</p>
      <p>Поведение жидкости определяется уравнениями Навье-Стокса в приближении Буссинеска
для ньютоновской жидкости, поверхностное натяжение  которой предполагается линейной
функцией температуры T :</p>
      <p>  0  (T T0 ) .
Безразмерные уравнения неразрывности, движения и притока тепла в цилиндрических
координатах (r, , z) с компонентами скорости и давлением P имеют вид:
где
Граничные на твердых поверхностях имеют вид:
Граничные на свободной поверхности имеют вид:
Безразмерные параметры включают два безразмерных геометрических параметра:
, Ar=
а также термокапиллярное число Рейнольдса Re , число Грасгофа Gr ,число Прандтля Pr и
число Био Bi.</p>
      <p>На первом этапе ищутся стационарные осесимметричные решения выписанных уравнений.
На втором этапе найденное решение рассматривается как базовое и для него
рассматривается устойчивость относительно малых возмущений, которые представляются в
виде:
получается обобщенная задача на
соб3. Метод решения и тесты</p>
      <p>Для численного решения уравнений используется метод контрольного объема с
использованием разнесенных сеток. При пространственной дискретизации радиальная и осевая
компоненты скорости определяются на гранях сеточных объемов, а скалярные величины, давление и
температура, а также азимутальная компонента скорости определяются в центрах этих
объемов. Конвективые производные аппроксимируются центральными разностями,
обеспечивающими второй порядок аппроксимации. Введение, при необходимости, существенно
неравномерной сетки позволяет воспроизвести тонкую структуру пограничных слоев вблизи точек
соприкосновения твердых и свободных поверхностей без введения регуляризации.</p>
      <p>Для решения стационарных осесимметричных разностных (дискретизованных) уравнений
на первом шаге используется итерационный метод Ньютона в матричной форме для f (x)  0 :
x[k1]  x[k] 
f (x[k])
f (x[k])</p>
      <p>, k  0,1,...
для некоторого начального значения x[0] . Под вектором x подразумевается все множество
неизвестных задачи, а под функцией f все множество уравнений и граничных условий. Так как
якобиан f (x[k]) является матрицей, то для нахождения решения на следующей итерации
требуется решать систему линейных алгебраических уравнений.</p>
      <p>Использование матричных методов решения уравнений имеет ряд преимуществ по
сравнению с традиционными явными и полунеявными методами:
1. возможность построения эффективных полностью неявных схем без расщепления и
обременительных ограничений, связанных с шагом интегрирования по времени.
2. отсутствие необходимости разработки метода решения разностных уравнений;
разностные уравнения решаются матричными методами.
3. возможность получения решений, неустойчивых для нестационарных уравнений; это
необходимо при исследовании линейной устойчивости решений.
4. Высокая скорость сходимости при использовании метода Ньютона для решения
нелинейных уравнений; решение уравнений находится за несколько итераций.</p>
      <p>
        Недостатки матричных методов связаны с необходимостью решения систем линейных
уравнений высокого порядка. Матрица якобиана при использовании разностной
аппроксимации имеет блочно-диагональный характер и является сильно разреженной. Число элементов
матрицы примерно в 10 раз больше размерности вектора неизвестных. В данной работе для
решения систем линейных уравнений используются прямой метод решения уравнений,
основанный на на реализации мультифронтального метода [
        <xref ref-type="bibr" rid="ref5">6</xref>
        ] в пакете MUMPS [7]. Пакет MUMPS
осуществляет LU разложение для разреженных матриц, которое в нашем случае требует
примерно в 100 раз больше оперативной памяти, чем исходная матрица. Персонального
компьютера с памятью 12 ГБ достаточно для решения задачи на исходной сетке (nr×nz) до 500×500
точек. Такого разрешения часто вполне достаточно для описания течений вблизи порога их
устойчивости, однако для некоторых случаев этого недостаточно. В частности, для решения
бенчмарков – специально выделенных тестов для исследования методов и поведения решений.
Решение систем на сетках до 5000×5000 точек в этом случае возможно при использовании
кластерной вычислительной системы. При указанном размере сетки количество неизвестных
составит 125M, размер матрицы составит 10 ГБ, а размер LU разложения – 1000 ГБ.
Соответственно, задача относится к классу требующей большой оперативной памяти.
      </p>
      <p>
        Количество даже открытых пакетов для решения задач линейной алгебры весьма велико
[8]. Выбор конкретного пакета следует предпринимать из опубликованного опыта
предшественников, что не слишком просто из-за практического отсутствия опыта перекрестного
тестирования. Вопросы, связанные с выбором программных средств для моделирования задач
сеточными методами на суперкомпьютерах, являются очень важными, и они подробно
обсуждаются в [
        <xref ref-type="bibr" rid="ref6">9</xref>
        ]. Пакет MUMPS является современным структурированным пакетом решения
разреженных линейных систем, с открытым кодом, поддерживает распределенное хранение матрицы
и LU разложения, основан на шаблонах BLAS и использует MPI [
        <xref ref-type="bibr" rid="ref6">9</xref>
        ]. Он также включает стадию
предварительного анализа матрицы для её переупорядочивания с целью уменьшения объема
LU разложения. Помимо встроенных приближенных подходов для переупорядочивания
возможно использование специализированных внешних пакетов работы с графами METIS и
SCOTCH. Сочетание данных свойств пакета приводит к увеличению быстродействия до 100 раз
по сравнению с простыми пакетами учебного уровня [
        <xref ref-type="bibr" rid="ref7">10</xref>
        ] и уменьшению требований к
используемой памяти.
      </p>
      <p>Значительной экономии памяти теоретически можно было бы достичь используя
итерационный метод решения градиентного типа для системы линейных уравнений, однако,
построение эффективного предобуславливателя для полной системы уравнений конвекции является
достаточно сложной задачей.</p>
      <p>Для решения обобщенной задачи на собственные значения используется метод
обратной итерации и метод Арнольди. Последний используется в режиме shift-and-invert пакета
ARPACK. Для определения устойчивости течения достаточно найти собственное значение с
наибольшей действительной частью. Если действительная части такого собственного значения
положительно, то течение является неустойчивым, в противном случае оно устойчиво.
Использование стандартных методов решения спектральной задачи затруднено вырожденным
характером матрицы B. Для обоих подходов необходимо снова решение системы линейных
уравнений, на этот раз над полем комплексных чисел.</p>
      <p>
        Данный подход был разработан и тщательно тестирован для различных задач
вынужденной, термогравитационной и термокапиллярной конвекции [
        <xref ref-type="bibr" rid="ref4">5</xref>
        ]. Результаты подтверждены
данными других исследований [
        <xref ref-type="bibr" rid="ref8">11</xref>
        ]. Для кластерного варианта кода различие состоит в обращении
к параллельной версии пакета MUMPS (с параллельными пакетами, при необходимости,
ParMETIS и PtSCOTCH для переупорядочивания матриц). Основная программа использует
MPI, синхронно вызывая функции пакета MUMPS и настраивая его на соответствующий режим
работы с помощью входных параметров. Упомянутые пакеты поставляются в исходных текстах
и компиляция библиотек для их использования в среде UNIX не вызывает сложностей. Для
компиляции и выполнения использовались компиляторы фирмы Intel и библиотека MKL.
4. Результаты
      </p>
      <p>Расчеты проводились на сетках до 5000×5000 точек (125 млн. неизвестных) для
нахождения стационарного решения и до 3000×3000 точек (45 млн. неизвестных) для решения задачи
устойчивости. Для задач использовалось до 65 процессоров с памятью 24 ГБ и до 17
процессоров с памятью 48 ГБ. Результатом решения задачи являются стационарные осесимметричные
течения и нейтральные кривые, определяющие границы устойчивости, критические частоты и
собственные вектора, определяющие наиболее опасные возмущения. (Будут приведены данные
по временным затратам; в данный момент они отсутствуют так расчеты проводились для
несколько другой постановки задачи).</p>
      <p>
        В таблице 1 представлено сравнение результатов по бенчмарку для высоких чисел
Прандтля [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ] для параметров A=0.92, Ar=0.5, Pr=9.2, Re=586, Gr=1.9.105, Bi=0.1. Видна (будет)
сходимость результатов при увеличении сеточного разрешения. Результаты, полученные на
подробных сетках могут рассматриваться как практически точные и могут быть использованы для
оценки точности результатов, полученных ранее на менее подробных сетках.
      </p>
      <p>
        Таблица 1. Сравнение данных по бенчмарку [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]
Ψmin
Сетка
(r)
(z)
Ψmax
Vr min (r=0.5)
      </p>
      <p>(z)
Vr max (r=0.5)</p>
      <p>(z)
Vz min (z=0.5H)</p>
      <p>(r)
Vz max (z=0.5H)</p>
      <p>(z)
Ekin
Nu (дно)
Nu (стенка)
Nu (кристалл)
Nu
(поверхность)
Pr=0.005
Pr=0.05
Pr=0.6
Pr=4
Pr=10
Pr=30
Рис. 2. Примеры собственных функций задачи (температура – слева, азимутальная компонента скорости
- справа) для чисел Прандтля от 0.005 до 30.
5. Выводы</p>
      <p>Для осесимметричных конвективных течений роста кристаллов из расплава по методу
Чохральского разработана методика решения стационарных задач и исследования
устойчивости течений по отношению к трехмерным возмущениям для кластерных систем. Для решения
задач используется матричный подход, основанный на применении методов Ньютона,
обратных итераций, Арнольди и линейного решателя (солвера) MUMPS для прямого решения
разреженных систем.</p>
      <p>
        Использование данного подхода позволило получить численное решение на сетках до
5000×5000 точек (125 млн. неизвестных) на 65 процессорах с памятью 24 ГБ или на 17
процессорах с памятью 48 ГБ. Результаты получены для международного бенчмарка по росту
кристаллов из расплава по Чохральскому для высоких чисел Прандтля [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ].
      </p>
      <p>Разработанные методы и коды могут быть также использованы для исследования
устойчивости течений в задачах внешнего обтекания, крупномасштабной конвекции в мантии и
атмосфере Земли и динамики плазмы в осесимметричных конфигурациях.</p>
      <p>
        Работа выполнена с использованием ресурсов суперкомпьютерного комплекса МГУ имени
М.В. Ломоносова [
        <xref ref-type="bibr" rid="ref10 ref9">12, 13</xref>
        ].
Литература
4. Бессонов О.А., Полежаев В.И. Нестационарные неосесимметричные течения в
гидродинамической модели метода Чохральского при больших числах Прандтля // Изв. РАН. МЖГ.
201. № 5. С. 16–32.
7. MUMPS. URL: http://mumps-solver.org.
8. Freely Available Software for Linear Algebra.
      </p>
      <p>URL: http://www.netlib.org/utk/people/JackDongarra/la-sw.html.
Matrix methods for fluid mechanics problems
Michael Ermakov
A matrix approach is used for modeling and stability analysis of axisymmetrical fluid flows
for the Navier-Stokes equations in Boussinesq approximation. Advantages of the matrix
approach consist in an unnecessity of equations splitting and an unnecessity of a partial
method building for equations solution. For the solution of a system of discretized
NavierStokes equations the matrix Newton method is employed. At each iterations a linear system
for a vector of the full set of unknowns and for the Jacobian matrix is solved. For a flow
stability analysis against 3-D disturbances, are being considered as a decomposition of normal
modes in azimuthal direction, the inverse iterations and Arnoldi methods (ARPACK) are
used. For a linear-system solution the direct method (MUMPS) is used. Due to application of
matrix approach for numerical benchmark for Czochralski method of crystal growth, it was
possible to get a solution for superfine mesh with 125M unknowns by use of 65 processors
(24 GB) of the “Lomonosov” supercomputer.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Lappa M. Rotating</surname>
          </string-name>
          <article-title>Thermal Flows in Natural and Industrial Processes</article-title>
          . Wiley, Chichester,
          <year>2012</year>
          , 522 p.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Wheeler</surname>
            <given-names>A.A.</given-names>
          </string-name>
          <article-title>Four test problems for the numerical simulation of flow in Czochralski crystal</article-title>
          growth // J. Cryst. Growth.
          <year>1991</year>
          . V.
          <volume>102</volume>
          . № 4. P.
          <volume>691</volume>
          -
          <fpage>695</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Crnogorac</surname>
            <given-names>N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wilke</surname>
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Cliffe</surname>
            <given-names>K.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gelfgat</surname>
            <given-names>A.Yu.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kit</surname>
            <given-names>E.</given-names>
          </string-name>
          <article-title>Numerical modelling of instability and supercritical oscillatory states in a Czochralski model system of oxide melts // Cryst</article-title>
          . Res. Tecnol.
          <year>2008</year>
          . V.
          <volume>43</volume>
          . № 6. P.
          <volume>606</volume>
          -
          <fpage>615</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          5.
          <string-name>
            <surname>Ermakov</surname>
            <given-names>M.K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ermakova</surname>
            <given-names>M.S.</given-names>
          </string-name>
          <article-title>Linear-stability analysis of thermocapillary convection in liquid bridges with highly deformed free surface //</article-title>
          J. Cryst. Growth,
          <year>2004</year>
          . Vol.
          <volume>266</volume>
          . P.
          <volume>160</volume>
          -
          <fpage>166</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          6.
          <string-name>
            <surname>Amestoy</surname>
            <given-names>P.R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Duff</surname>
            <given-names>I.S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>L'Excellent J</surname>
          </string-name>
          .
          <article-title>-Y. Multifrontal parallel distributed symmetric and unsymmetric solvers</article-title>
          .
          <source>Comput. Methods Appl</source>
          . Mech. Eng.,
          <volume>184</volume>
          :
          <fpage>501</fpage>
          -
          <lpage>520</lpage>
          ,
          <year>2000</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          9.
          <string-name>
            <surname>Василевский</surname>
            <given-names>Ю.В.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Коньшин</surname>
            <given-names>И.Н. Копытов</given-names>
          </string-name>
          <string-name>
            <surname>Г</surname>
          </string-name>
          .В.,
          <string-name>
            <surname>Терехов</surname>
            <given-names>К</given-names>
          </string-name>
          .
          <article-title>М. INMOST - программная платформа и графическая среда для разработки параллельных численных методов на сетках общего вида</article-title>
          .
          <source>М.: Изд-во Московского университета</source>
          ,
          <year>2013</year>
          . -
          <fpage>144</fpage>
          с.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          10.
          <string-name>
            <surname>Saad</surname>
            <given-names>Y.</given-names>
          </string-name>
          <article-title>Iterative methods for sparse linear systems</article-title>
          .
          <source>SIAM</source>
          .
          <year>2003</year>
          . 528 p.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          11.
          <string-name>
            <surname>Gelfgat</surname>
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Yu</surname>
          </string-name>
          .
          <article-title>Numerical study of three-dimensional instabilities of Czochralski melt flow driven by buoyancy convection, thermocapillarity and rotation // Studies on Flow Instabilities in Bulk Crystal Growth</article-title>
          .
          <source>Transworld Res. Network</source>
          ,
          <year>2007</year>
          .
          <volume>37</volume>
          /
          <issue>661</issue>
          (2). P. 1-
          <fpage>26</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          12.
          <string-name>
            <surname>Ермаков</surname>
            <given-names>М</given-names>
          </string-name>
          .К.
          <article-title>Исследование устойчивости в гидродинамических моделях роста кристаллов // Cуперкомпьютерные технологии в науке, образовании и промышленности</article-title>
          : Альманах / - М.:
          <article-title>Изд-во Московского университета</article-title>
          ,
          <year>2014</year>
          . С.
          <volume>140</volume>
          -
          <fpage>145</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          13.
          <string-name>
            <given-names>Воеводин</given-names>
            <surname>Вл</surname>
          </string-name>
          .В.,
          <string-name>
            <surname>Жуматий</surname>
            <given-names>С</given-names>
          </string-name>
          .А.,
          <string-name>
            <surname>Соболев</surname>
            <given-names>С</given-names>
          </string-name>
          .И.,
          <string-name>
            <surname>Антонов</surname>
            <given-names>А</given-names>
          </string-name>
          .С.,
          <string-name>
            <surname>Брызгалов</surname>
            <given-names>П</given-names>
          </string-name>
          .А.,
          <string-name>
            <surname>Никитенко</surname>
            <given-names>Д</given-names>
          </string-name>
          .А.,
          <string-name>
            <surname>Стефанов</surname>
            <given-names>К</given-names>
          </string-name>
          .С.,
          <source>Воеводин Вад.В. Практика суперкомпьютера "Ломоносов" //</source>
          Откры- тые
          <string-name>
            <surname>системы</surname>
          </string-name>
          . - М.:
          <article-title>Издательский дом "Открытые системы"</article-title>
          ,
          <source>N 7</source>
          ,
          <year>2012</year>
          . С.
          <volume>36</volume>
          -
          <fpage>39</fpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>