<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>ˇ Ł ª Æ º Œ ae Ł ıŁ</article-title>
      </title-group>
      <pub-date>
        <year>2016</year>
      </pub-date>
      <fpage>141</fpage>
      <lpage>154</lpage>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>ŁŁ
º aeŒŁØ
Œ, ¨ ae Ł
¨
Łae</p>
      <p>º Ł
ºŁ .</p>
      <p>— aeaeŁØaeŒ Ø
¯ ae Łª
˝. ., — ÆŒ
˛.¨.
Œ
Æ Æø
ıŁ Œ
ı
ae ß</p>
      <p>Ł Łaeº
(¸ ˇ). ˛Æß</p>
      <p>- Œ
ºŁ ¸ ˇ Œ Œ</p>
      <p>ºŁ ae
ŁŁ. ´</p>
      <p>ıŁ Œ
Œ
ß ßae Œ ª
ae ı Œ ß</p>
      <p>ŒŁ Ł ß º
Ł ßı ÆŁÆºŁ
5 35 . ´ ae
Ł multiGPU ı
Ø Œ ŁŁ ae
Ł</p>
      <p>ae
ae ae ÆŁ
aeº Ł ı Ł
ŁŁ ßÆ ßı
aeae ¸ ˇ ae</p>
      <p>Ł
Æ
. ˝ Ł</p>
      <p>ß ae ae
¸ ˇ. ˜º Łaeº
Œ . ´ Ø
ß ŁaeºŁ º ß
ae ae Ł</p>
      <p>Œ ae
CPUŁ GPU ae
Ł ae aeº ae
, aeŒ Ł
Œ º
GPU. ˇ Œ
Ø Ł .</p>
      <p>Ł ŁŁ ºŁ ßı ºº º ßı ß
ŁaeºŁ</p>
      <p>ºŁ ŁŁ º Ł - Æ
ºŁ ¸ ˇ ae aeae ŁŁ ae
º ŁØ º ae ŁØ aeŒ ae Ł, ª Ł aeŒŁı ae
ŒºŁ Ø Ø Ł Ł aeŒ Ø aeŁae ß º Ł
ºŁ ae Æae ßı ŁØ Œ ÆŁ ,
ae Ł ae Æae ßı ŁØ
ŁŒ Ł ß ae ŁŁ Ł Ł ª ß.</p>
      <p>aeº Ł º aeae Ł ßı</p>
      <p>( Łae º — Ø º ae , ı ,
ŒŁ Ł ºŁ Ø ßı Ł Ł
ae Ł Ł Æßae Øae Ł Łae º ßı
ae 2008 ª , łŁı Æ ı Łae º ae
ae CPU. ˙ Æßº aeae
ª ºŁ Ł Ł ºŁae
Æ º Œ ª Œº aeae</p>
      <p>ŁŁ, Ł ae Łae º
Œ Ł ae Ł Æ ßı
ºaeŁ Ł Œ Œ ae Æ Ø.</p>
      <p>Ł ae CPU aeŒ Ł Ł
ºª Ł , Œ Œ Ł MPI CPU, Œ
Œ Æß ºŁ Ø ß Ł Ł º
0.78-0.81. ˜º multiGPU ºŁ ºª Ł ß</p>
      <p>ß º ß Ł ªŁÆ Ł Ł ŁŁ
multiGPU, ªŁÆ Ł
Ł , ¸ Ł
ß ßae Œ ª</p>
      <p>Æ º
Œ .</p>
      <p>ıŁ Œ
ßØ</p>
      <p>GPU Ł CPU, ˇ Łaeº
ı , ˜Ł Ł aeŒŁ aeŁae ß,
ae Ł ºŁae
CPU+multiGPU º
1. ´Ł
ŒŁ
aeŁ
— Æ
¸ Ł
ºŁ
ß Łaeº
ı º ªŁŁ</p>
      <p>º
ae
ºŁ ß</p>
      <p>Ł
Ł Ł
´ Æø aeº</p>
      <p>ŁØ ˝˚˙ Ł Łı ae
Œ Ł Øae Ł
, ø</p>
      <p>Æoe Ł
Æ º</p>
      <p>Ł
ª ˇ
∗—Æ —aeaeŁØaeŒŁ ºßı ¨aeaeºŁØ (ª 14-07-00123).</p>
      <p>ae
ºŁ
ı</p>
      <p>aeŒ
(¸ ˇ). ´
Ł Ł ae Æ
Ł
Ł
Ł
ŁØ
ªŁı ae
Ł . ´
ae Ł,
ºº º
ºº º</p>
      <p>ßı ß Łaeº ŁØ º
ı [6 22] Ł º ae</p>
      <p>aeae Ł ae
Æ
ŁŒ øŁ Ł ae
ßı ß Łaeº ŁØ. ˛ae
Œ
Ø Ł
ae ŁŁ Œ
. ˇ ae M</p>
      <p>Ł aeŒ Ø aeŁae ß
Ł ˇ Œ S ae
Łaeº
ae
Ł M
Œ
, φ
ae
ŒØ
ae
ßı
ß</p>
      <p>S ae
Ł A = γ ∩ S.
ae Ł Œ
ae . ˇ aeº
ae Ł</p>
      <p>ª
aeŁ ae
ae Ø. ´
Æ ı. ˜ º
aeº øŁı</p>
      <p>ł Ł
ÆøŁØ ß
ae º Œ ŁŁγ. ŒŁ Æ , Ł</p>
      <p>ı Ł aeŒŁ º ºŁ ŁŁ ª
Ø ŒŁ Ł Ł aeŒ ª ŁºŁ
Ł øŁ ae ß ae
º aeŒ ae . ` º
Ø ae Ł ÆøŁı
Ł º ª ae ıŁ Œ
ß ı ae ı aeae Ł ae
ºŁ ß Ł Ł multiGPU
Ł Ł ae Ł multiGPU Ł ªŁÆ Ł
Œ Ł º ª ae
Ł ae ae Ł ˇ Œ
º , ae. . [6].
Ł ı ae ae Ł,
ß, Œ ßı Ł
º ß ºª
ıŁ Œ ı. ´
ßı ºª Ł
ß
ae
ae
ae ae Ł
Ł ae º Ł
ß Œ ae
Ł Ł ßı aeº .
ˇ ae Ω ⊂ Rk, k = 2, 3, Œ ß Ł º ß aeº Ł . ˜º Œ
Ł ÆŁ Œ Ł ª ( Ł Łaeº — Ø º ae - R) Ł
Œ Ø Ł u : Ω × (0, T ] → Rk, p : Ω × (0, T ] → R ŒŁ , Ω ß º
ŁØ ˝ - Œae º Œ Ø ae Ł Ø Ł Œ ae Ł:
ª
ß
º
ºŁ
Œ
aeº</p>
      <p>ł ºŁae ae Ł
-˚ ß ˙
ŁØ. ˇ Ł Ł Ł º</p>
      <p>ŁŁ. ´ aeº
- Œ ŁØ, ºŁÆ º</p>
      <p>Æ ae ł Ł
ª ŁÆºŁ Ł [1]. ˜º</p>
      <p>Ł
Ł (˝˚˙)
ºŁ Ł
(multi)GPU Ł ªŁÆ Ł</p>
      <p>ºŁ
Œº
Æ ae ºŁÆ
ł Ł
Ł ae
ŁŁ ae
ae
2. ¨aeıß º-Œß Ł
º</p>
      <p>— aeae
ıŁ Œ
ae Ł
ae</p>
      <p>Ł Ł ¸ ˇ, Œ
. ´ Æø aeº ˝
ßı Ł ae Ł ßı</p>
      <p>Ł Łaeº
ae º Ł º ßı
Ł º . ´
º ı Œ
˝˚˙ º</p>
      <p>Æº ae
∂ρ
∂t
+</p>
      <p>∂
∂xj
∂
∂t
∂
∂t
∂
∂xj
ßı
(3)
ª
ß º
Œ ŁŁf Œ Œ
Ł
ae
˙ º Ł</p>
      <p>˙ Ω ⊂ R3, Œ
f : Ω × (0, T ] → R Ł Œ
ÆŁ Œ Ł ª
aeŁae ŁØ:
∂u 1
∂t + (u · ∇ ) u = −∇p + R ∆ u + f</p>
      <p>∇ · u = 0.
Œ ª ª Łaeß ae Œ Œ:
ß Ł º ß aeº Ł . ˛
- Œ ŁŁ f Œ Œ f : Ω × (0, T ] → R3.</p>
      <p>Ł ª Œ Ø Ł ŒŁ
ºŁ aeŒ º
ª º Œ
u, ρ, E,</p>
      <p>ß
∂
∂xj
(ρui) +</p>
      <p>[ρuiuj + pδij − τji] = gi, i = 1, 2, 3;
(ρE) +</p>
      <p>1
[ρujE + ujp − uiτij] = 0; E = ρu2 + ρe;</p>
      <p>2
p = (γ − 1)(E − 1/2ρu2); τij = 2νSij;</p>
      <p>Sij = 21 ( ∂∂xuji + ∂∂uxji ) + 31 δij ∂∂xukk .
˙ ae : E- aeŒ º
ªŁŁ ª ; γ
u - Œ
ν - Ł Ł aeŒ
— ae</p>
      <p>ae
º
, ae
Ł
Œ
Œ Ł aeŒ</p>
      <p>º
, º k = 3: Ω = [0 , 2π/α]×[0, 2π]×[0, 2π], R =
º k = 2: Ω = [0 , 2π/α] × [0, 2π], R =
º ª Øae Ł ;A
ae ae ; ν - ŒŁ Ł aeŒ
´ ae Ł ae Ł Ł ae
ˆ º ŒŁ Ł ae Œ
ω − Ψ ( Łı ae</p>
      <p>
        Ø aeŁae ˛˜
ae ßÆ ºŁ Ø
(S-ae º Ø ß, ae. . [
        <xref ref-type="bibr" rid="ref3">4</xref>
        ]). ´
      </p>
      <p>ae n ae ŁØ ßØ
ˇ -ˆ º ŒŁ Ł ae Œ
(˜ˇ , Æ º º
Œ ŁŁ Ł ae ae
´ ae ı aeŁae ı
ae Ł Ł
ß º</p>
      <p>Ł ı, Œ ª
ae Ł ae ae
º Ł
Ł º
Œ Ł
ß</p>
      <p>º ß ae
ae Ł ß ŁaeºŁ º
Ł
ø Ø aeŁº Ø (
Ł
Œ Ø
Ł Œ ae Ł
º ae
aełŁ
, f = (sin (ny) sin (mz) ; 0; 0)T ;
,f = (sin (ny) ; 0)T ; m,n
Øae Ł ;Lj
(1)
ae
ª Ł</p>
      <p>ł
Ł ae aeº</p>
      <p>Ł ae ae Ł
Ł Œ Æı Ł ae Ł
Ł aeŁae ß ˛˜ (</p>
      <p>
        Ł ˇ aeae k
ae ª ŁŁ º
˙ ae aeae Ł ae Ł - 3D Ł ae ae Ł 2D Ł
ø Ø Ł Œ ae Ł Œ º ae aełŁ Ł . ˛Æº ae Ω = Ω 1\(Ω 2∩Ω 3), Ω 1 = L × H(×W )∗,
Ω 2 = l × h(×W )∗, Ω 3 = (L − l) × h, ª L &gt; l, H &gt; h. ´ß Ł aeŒ ÆŒ ı - ()∗ Łae
ae º Œ º 3D Ł ( . . ªº ÆŁ ), Œ ae Ł ae aeŁ Ł aełŁ Ł ,
. . Ω 3 = ∅. ˝ ª Ł ı Ω ae ae ª Ł ß aeº Ł - ae ŒŁ( aeº Ł Œ Ł Ł
ŁºŁ Ł ), Ł Ł aeŒŁ , ı ß Ł ßı ß . ` º º ae ŒŁ
Łae ß Æ ı [
        <xref ref-type="bibr" rid="ref12 ref4">8, 16</xref>
        ]. ´ Ł ø Ø Ł Œ ae Ł Œ º , ˝˚˙ ae Ł ae
º ªŁ , º ae aeŁae Ø ŁØ Œae ºº Ł ae ae øŁ Ł ª Ł ß Ł
aeº Ł Ł.
      </p>
      <p>˜º Ł ae aeø Œ ˆ º ª º
. Ł ł Ł Œ ł ª
Ł Ł , º ß k- ª Œ ,
ª</p>
      <p>º Ł ae
Ł ˇ aeae</p>
      <p>— ª -˚
º ª ł ª
Łae º ºŁae ªŁÆ Ł</p>
      <p>Ł).
ß Œ
˚º aeaeŁ aeŒ ae Æ Ø Œ Œ ŁŁ aeae
ß ŁÆºŁ Ł ˛Æ Æ Œ -` aeaeŁ aeŒ . — aeae ß</p>
      <p>
        ŁºŁ Ł aeŒ Ø ª ŁŁ Ł Ω 2 = L × H × W - Œ ÆŁ aeŒ
Œ Łª [
        <xref ref-type="bibr" rid="ref2">3</xref>
        ] Ł ae Œae Ł º Łaeaeº Ł
(1), (2) º ae Ł ae
      </p>
      <p>Øae Ł f = RaP r(T − T0)(0; 0; −1)T . `Ł Œ Ł
º ˇ º - P r = ν Ł — º - Ra = βgh3∆ T , ae</p>
      <p>χ νχ
ae ae aeł Æ Ł ŁŁ. ˙ ae χ
aełŁ Ł ; h - ßae
Ł . ˜º Ω 1
Ł ŁŒ Ł</p>
      <p>
        ı
Ł Ł ª
aeº ; g - aeŒ Ł ae Æ
ª Ł aeŒŁı ºŁ
[
        <xref ref-type="bibr" rid="ref5">9</xref>
        ]. ˜º Ł Æ Ł ae
˜ˇ . ˜º Ω 2 ae ª Ł
Æoe ßØ + Œ - º
      </p>
      <p>— ae Œ
256 × 256 = 16777216 º</p>
      <p>˛ae ß ŁŁ - ˜ˇ ,
ł Ł Ł ˇ aeae Ł</p>
      <p>ª
ı ae
ŒŁ Ł ºae
ß Ł aeº Ł Ł
ßØ
ª
,
ae
Ł
Æoe ß Ł Œ - º ß ß. ˜º ŒaeŁ ŁŁ ºŁ Ø ßı
ŁØ Ł ºŁae aeı ß WENO 9 Ł 11 Œ ( ø ÆºŁŒ ß), º
ŁŁ ºŁ Ø ßı º - Œ ßı º ae Ł Ł ºŁ
ł ae ª Œ . — ae Œ ª ae ae º 3D Ł
ae ae º 512 × 256 × 128 = 16777216 º Ł Ł aeŒ ª º Ł z ª
aeº Ł Ł 512 × 256 × 256 = 33554432 º ª Ł ª aeº Ł ae ŒŁ ae
˜º 2D Ł Ł ø Ø Ł Œ ae Ł - 1024 × 256 = 262144. ˛ae
- ae Œ Œ Ł ßı º Ł WENO - aeı Ø, ł Ł
Ł Ł Ł ß Œ Œ º ˚ .
ae Ø
ŒaeŁŁ Ł
Œ ae
øŁı ª Ł
Ł ae Ø Ł ae
Łaeº ı ae ae º
Ł . ˙ ae h = 0.15,
Łaeº — Ø º ae ,
ÆŁ
h - ßae aeº ae ł Ł , ∆ U
ae Ł Œ ae Ł (ª ), ∆ ρ - Ł</p>
      <p>ºŁ ae Ø Ł ae Ł ae ,
˛Æº ae Ω - ª º ,</p>
      <p>º º Ł aeŁ −Y . ˆ
y = 0 Ł y = 0.3, aeº Ł Ł Ł ae Ł</p>
      <p>
        aeŁ X Ł x = 2.8. ˇ Ł x = 0.0
Ø δ ≤ 1 · 10−5. ´ Ø Œ
aeº ŁØ, ae. . [
        <xref ref-type="bibr" rid="ref15">19</xref>
        ]. Łº ª Ł ŁŁ
Œ Ł Ł —Ł ae . ˜ º Ł
º 0.8. — ae Łaeº —Ł ae
∆ ρ = 0.4, ρA = 0.8. ˜º
º Œ Œ R = ∆ U hρA . ˇ º ae
      </p>
      <p>ν
Ł º
ß º
Œ ae Ł
3. ŁŁ multi-GPU Œºae
ae º Ł Ł ae ª º ª Æ
º ßı ßı ae ae øŁı Ł Ł ŁŁ
ı Æº ae Ł Ł 2p × 2q × 2n, { p, q, n} ∈ N. ¯aeºŁ ae ae Ł
ae Ł aeŁ ı CUFFT (CUDA 1.1/2.0) Ł FFTW(3.2) [5] Ł
ł ae Ł ae ß øŁ Ł aeŁ Ł. ŒaeŁ º
Ł
Ł º
ae
aeŁ º
ß º
aeŁ º
ß ÆßºŁ
ŁŁ
.</p>
      <p>ae
ßı ( ae
Ł
.</p>
      <p>˜ Ł ae
Ł ß ª Æß
ae ÆŁÆºŁ
Ł , Œº</p>
      <p>ıŁ Œ
Œº ae . ˇ Œ
ae ł Ø.</p>
      <p>˝ Łae. 2 Œ ae Ł
magmablas_dsymv_mgpu Ł cublasDsymv.</p>
      <p>ŒŁ Æ , ae Łª ae Ł
Ł GPU. ˚ Œ Ł , Ł
º Ł º ae Œ Ł</p>
      <p>Ł ae , ,
Œ Œ º ß , Œ Ł
ŒŁ CUBLAS Ł MAGMA. ı Ł</p>
      <p>ø ae , MAGMA
ae Ł aeŒŁ Œ ºŁ ae
ßł Œ Łª</p>
      <p>
        Ł º
Ł MAGMA
(a) ˇ
—Łae. 2. ˇ
Ł
7. Ł ˇaeae, łŁ ¸
˜º ł Ł
( ˆ ), ae. . [
        <xref ref-type="bibr" rid="ref6">10</xref>
        ]. ˛
      </p>
      <p>Ł ae ŁŒ
ae Ł
ae Ø Ł ae Ł
Ł Ł
ºŁ
ß
ł Ł
Ł
ae Ł). ´
ß ˚ ßº
Ł ˇ
Ł
Ł Łae º
aeae
ae
Ł º ae</p>
      <p>GPU ( º
ae ª Œ
ºŁ
ßı
aeŁ º
(b) ˇ
8. ˛ÆøŁØ ºŁ º
ºae
ª ł ª
Ł.</p>
      <p>Ł
ae
ßłº
ººŁ
Ł
ßØ Œº ae
aeŒŁ
. ˝ ŁÆ º
Ł, ß</p>
      <p>ß Ł º
ß Ł ª
Ł
Ø
ıŁ
Œ ºŁ
Œ
ae
(a) ˇ
Œ
aeŁı
ªŁae
´</p>
      <p>º , Łae
5-7 aeŒ Ł
ßł . aeŒ
ŁŁ ÆŁÆºŁ
˝ ae
ae
Ł Ł
Ł ˆ º ª º
Ł , Œ
Ø
ae
.
º
ae
Ł ,
Œ,
1. Toro E.F. Riemann Solvers and Numerical Methods for Fluid Dynamics. Springer-Verlag,
1999.</p>
      <p>Ł
73.</p>
      <p>˝. .,
Æ º
65.</p>
      <p>ŁŒ ˇ.ˆ.</p>
      <p>Œ
4. Łº
˚</p>
      <p>Æ º
ßı Łaeaeº
5. CUFFT 1.1 / 2.0 vs FFTW 3.1.2 (x86_64) vs FFTW 3.2 (Cell) comparison. URL:
http://www.sharcnet.ca/~merz/CUDA_benchFFT/</p>
      <p>ª Ł ŒŁØ.˝. ., Ł
ae Ł Œ Ø
ae Ł
.´. ˝ ßØ ı
Ø Ł Œ ae Ł. //
Œ Æoe ae
ß ¨
Ø ˙
ŁØ
14. ¯ ae Łª
ae ª
.53. 14. . 111</p>
      <p>H.M. ˇ Ł
` º
123.</p>
      <p>Ł ª
ae
Ł aeŒ ª aeae
ŁØ Ø ae ÆŁºŁ</p>
      <p>º aeŒ
Ł Ø //
Ł
ß ¨
Łaeº ª
— ˝. 2010.
16. ¯ ae Łª</p>
      <p>Æ º
Ł Œ ae Ł
1. . 55
˝. .,
ae Ł
Œ
62.</p>
      <p>ª Ł ŒŁØ ˝. ., — ÆŒ
º ae aeŁ
Ł ß
aełŁ
˛. ¨. Łaeº
ŁŁ Œ Ø ae Ł
Ł . // ß ¨
Łaeaeº
Ł
ı</p>
      <p>Œ
Ø ø Ø
— ˝. 2012. .62.
ª Ł ŒŁØ ˝. ., Łº</p>
      <p>Ł
Ł º ß
17. ¯ ae Łª
Ł ŁŒŁ ª
.62, 4. . 85
Application of multiGPU+CPU architecture for DNS
of laminar - turbulent transition problems which are
considered as nonlinear dynamical systems∗</p>
      <p>Evstigneev N.M., Ryabkov O.I.</p>
      <p>Federal Research Center Computer Science and Control of Russian Academy of</p>
      <p>Science, Institute for System Analysis.</p>
      <p>In the paper we summarize the use of parallel computational architectures for the
direct numerical simulation of laminar - turbulent transition problems (LTTPs).</p>
      <p>Usually, DNS results are analyzed by a set of statistical parameters, namely, pulsation
velocities correlations, energy spectra etc. When a dynamical system analysis approach
is applied to DNS results, it is necessary to evaluate additional parameters: phase
space attractors and Poincare sections, eigenvalues of Monodromy matrix etc. This
allows one to present results as bifurcation scenarios and diagrams and bring up
more details concerning LTTP scenario as functions of bifurcation parameters (e.g.</p>
      <p>Reynolds, Mach, Froude numbers). This task is computationally expensive and algorithms
are complex. This brings up more demands on hardware e ciency and software
algorithm optimization. We’ve being using GPU and multiGPU together with CPU
architectures since 2008 in this kind of DNS. We’ve considered eight separate LTTPs
since then. Di erent high order methods were applied. In the paper we show common
computational problems for each problem class. We illustrate the application of libraries
and stand alone algorithms, perform e ciency benchmarking across GPUs and with
CPU versions. It is shown that in general one GPU is 5 to 35 times faster than
CPU. The acceleration is worse than linear and scales up as a power function with
exponent in 0.78-0.81. This is, presumably, due to MPI communication bandwidth
and complexity of algorithms in multiCPU and multiGPU approach. We use ve
GPUs for multiGPU and show CPU+multiGPU e ciency for one of the considered
problems.
1. Toro E.F. Riemann Solvers and Numerical Methods for Fluid Dynamics. Springer-Verlag,
1999.
5. CUFFT 1.1 / 2.0 vs FFTW 3.1.2 (x86_64) vs FFTW 3.2 (Cell) comparison. URL:
∗Paper is supported by Russian Foundation for Basic Research (RFBR) grant 14-07-00123.
7. Evstigneev N.M., Magnitskii N.A. and Sidorov S.V. Novyy podkhod k ob"yasneniyu
prirody turbulentnosti vyazkoy neszhimaemoy zhidkosti [New approach for turbulence in a
problem for incompressible viscous ow]. // Trudy ISA RAN [Proc. ISA RAS]. 2008.</p>
      <p>Vol.33. P. 49 65.
912.
laminar-turbulent instability problem]. // Trudy ISA RAN [Proc ISA RAS]. 2013. Vol.63.</p>
      <p>No.3. P. 45 52.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          2.
          <string-name>
            <surname>Sarrisy</surname>
            <given-names>I. E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kassinosz</surname>
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Knaepeny</surname>
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Carati</surname>
            <given-names>D</given-names>
          </string-name>
          .
          <article-title>Large-eddy simulations of the turbulent Hartmann ow close to the transitional regime</article-title>
          .// Center for Turbulence Research:
          <source>Proceedings of the Summer Program</source>
          <year>2006</year>
          . P.
          <volume>387</volume>
          <fpage>397</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          3.
          <string-name>
            <surname>Frik P.G. Turbulentnost</surname>
          </string-name>
          <article-title>': podkhody i modeli. [Turbulence: approach</article-title>
          and models].
          <string-name>
            <surname>-</surname>
          </string-name>
          Moskva-Izhevsk:
          <article-title>Institut komp'yuternykh issledovaniy</article-title>
          [Moscow-Izhevsk: Institute for Computer Research].
          <year>2003</year>
          . 292 P.
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          4.
          <string-name>
            <surname>Silaev</surname>
            <given-names>D.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Korotaev</surname>
            <given-names>D.O.</given-names>
          </string-name>
          <article-title>Reshenie kraevykh zadach s pomoshch'yu S-splayna [Numerical solution of boundary problems with S-splines].// Komp'yuternye issledovaniya i modelirovanie [Computer Research</article-title>
          and Modeling].
          <year>2009</year>
          . Vol.
          <volume>1</volume>
          . No.2. P.
          <volume>161</volume>
          171 6.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A. FSM</given-names>
          </string-name>
          <article-title>Scenarios of Laminar-Turbulent Transition in Incompressible Fluids</article-title>
          .
          <article-title>- Chapter 10 in Nonlinearity, Bifurcation and Chaos Theory and Applications</article-title>
          . INTECH.
          <year>2013</year>
          . P.
          <volume>250</volume>
          <fpage>280</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          8.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Sidorov S</surname>
          </string-name>
          .V.
          <article-title>On the nature of turbulence in a problem on the motion of a uid behind a ledge</article-title>
          .// Di erential Equations.
          <source>January 2009</source>
          . Vol.
          <volume>45</volume>
          .
          <string-name>
            <surname>Iss</surname>
          </string-name>
          .1. P.
          <volume>68</volume>
          <fpage>72</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          9.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Sidorov S</surname>
          </string-name>
          .V.
          <article-title>On the nature of turbulence in Rayley-Benard convection</article-title>
          .// Di erential Equations.
          <source>June 2009</source>
          . Vol.
          <volume>45</volume>
          .
          <string-name>
            <surname>Iss</surname>
          </string-name>
          .6. P.
          <volume>909</volume>
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          10.
          <string-name>
            <surname>Evstigneev N.M.</surname>
          </string-name>
          <article-title>Numerical integration of Poisson's equation using a graphics processing unit with CUDA-technology</article-title>
          . //Vychisl. Metody Programm.
          <year>2009</year>
          . Vol.
          <volume>10</volume>
          . P.
          <volume>268</volume>
          <fpage>274</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          11.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <article-title>On possible scenarios of the transition to turbulence in Rayleigh-Benard convection</article-title>
          .// Doklady Mathematics.
          <year>August 2010</year>
          . Vol.
          <volume>82</volume>
          .
          <string-name>
            <surname>Iss</surname>
          </string-name>
          .1. P.
          <volume>659</volume>
          <fpage>662</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          12.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <article-title>Nonlinear dynamics in the initial-boundary value problem on the uid ow from a ledge for the hydrodynamic approximation to the boltzmann equations</article-title>
          . // Di erential Equations.
          <source>December 2010</source>
          . Vol.
          <volume>46</volume>
          .
          <string-name>
            <surname>Iss</surname>
          </string-name>
          .12. P.
          <volume>1794</volume>
          <fpage>1798</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          13.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Sidorov S</surname>
          </string-name>
          .V.
          <article-title>Nonlinear dynamics of laminar-turbulent transition in three dimensional Rayleigh Benard convection</article-title>
          . //Communications in Nonlinear Science and
          <string-name>
            <given-names>Numerical</given-names>
            <surname>Simulation</surname>
          </string-name>
          .
          <source>October 2010</source>
          . Vol.
          <volume>15</volume>
          .
          <string-name>
            <surname>Iss</surname>
          </string-name>
          .10. P.
          <volume>2851</volume>
          <fpage>2859</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          14.
          <string-name>
            <surname>Evstigneev N.M.</surname>
          </string-name>
          <article-title>Primenenie gra cheskogo protsessora dlya uskoreniya chislennogo setochnogo metoda Bol'tsmana s entropiynoy stabilizatsiey [Application of GPU for acceleration of Lattice - Boltzmann method with entropy x]</article-title>
          .
          <source>// Trudy ISA RAN [Proc ISA RAS]</source>
          .
          <year>2010</year>
          . Vol.
          <volume>53</volume>
          , No.14. P.
          <volume>111</volume>
          <fpage>123</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          15.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <string-name>
            <surname>Nonlinear</surname>
          </string-name>
          <article-title>Dynamics of Laminar-Turbulent Transition in Back Facing Step Problem for Bolzmann Equations in Hydrodynamic Limit</article-title>
          .//AIP.
          <year>2010</year>
          . Vol.
          <volume>1281</volume>
          . P.
          <volume>896</volume>
          <fpage>900</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          16.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Ryabkov</surname>
            <given-names>O.I.</given-names>
          </string-name>
          <article-title>Chislennoe issledovanie perekhoda k turbulentnosti v zadache o dvumernom techenii vyazkoy szhimaemoy provodyashchey zhidkosti v kanale s simmetrichnym rasshireniem [Simulation of laminar - turbulent transfer in 2D Hartmann ow problem with symmetrically expansing channel]</article-title>
          .
          <source>// Trudy ISA RAN [Proc ISA RAS]</source>
          .
          <year>2012</year>
          . Vol.
          <volume>62</volume>
          , No.1. P.
          <volume>55</volume>
          <fpage>62</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          17.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <article-title>Osobennosti fazovogo prostranstva uravneniy dinamiki gaza dlya transzvukovoy nachal'no-kraevoy zadachi [On phase space peculiarities of gas dynamics equations for a supersonic initial-boundary value problem]</article-title>
          .
          <source>// Trudy ISA RAN [Proc.ISA RAS]</source>
          .
          <year>2012</year>
          . Vol.
          <volume>62</volume>
          . No.4, P.
          <volume>85</volume>
          <fpage>102</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          18.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <article-title>Nelineynaya dinamika nachal'noy stadii laminarno-turbulentnogo perekhoda v zadache razvitiya neustoychivosti Kel'vina Gel'mgol'tsa [Nonlinear dynamics of initial stage in Kelvin-Helmholtz</article-title>
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          19.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <article-title>O razvitii neustoychivosti Kel'vina Gel'mgol'tsa na nachal'noy stadii laminarno-turbulentnogo perekhoda v vyazkom gaze [On the initial stage of Kelvin Helmholtz instability for laminar-turbulent transition in viscous gas ow]</article-title>
          .
          <source>//Trudy ISA RAN [Proc. ISA RAS]</source>
          .
          <year>2014</year>
          . Vol.
          <volume>64</volume>
          . No.3. P.
          <volume>41</volume>
          <fpage>52</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          20.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Silaev D</surname>
          </string-name>
          .A.
          <article-title>Qualitative Analysis of Dynamics in Kolmogorov's Problem on a Flow of a Viscous Incompressible Fluid</article-title>
          . //Di erential Equations.
          <source>October 2015</source>
          . Vol.
          <volume>51</volume>
          .
          <string-name>
            <surname>Iss</surname>
          </string-name>
          .10. P.
          <volume>1292</volume>
          <fpage>1305</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          21.
          <string-name>
            <surname>Evstigneev</surname>
            <given-names>N.M.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Magnitskii</surname>
            <given-names>N.A.</given-names>
          </string-name>
          <article-title>Chislennoe issledovanie nelineynoy dinamiki v obobshchennoy zadache techeniya A.N.Kolmogorova [Numerical simulation of nonlinear dynamics in generalized Kolmogorov problem for 3D viscous incompressible uid]. // Sistemnyy analiz i informatsionnye tekhnologii (SAIT'2015) Trudy shestoy mezhdunarodnoy konferentsii (Svetlogorsk</article-title>
          ,
          <fpage>10</fpage>
          -
          <lpage>20</lpage>
          iyunya,
          <year>2015g</year>
          .)
          <article-title>Svetlogorsk: Izdatel'skiy tsentr BFU im</article-title>
          .I.Kanta,
          <year>2015</year>
          . S.
          <volume>49</volume>
          <fpage>55</fpage>
          . [
          <article-title>System Analysis</article-title>
          and
          <string-name>
            <surname>Informational Technologies.</surname>
          </string-name>
          (SAIT'
          <year>2015</year>
          ) Proceedings of the International Scienti c Conference], Svetlogorsk, Published by Immanuel Kant Baltic Federal University.
          <year>2015</year>
          . P.
          <volume>49</volume>
          <fpage>55</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          22.
          <string-name>
            <surname>Evstigneev N.M.</surname>
          </string-name>
          <article-title>Ob odnom sposobe osredeniya uravneniy dinamiki szhimaemoy i neszhimaemoy zhidkosti [About one averaging method of the equations of a compressible and incompressible uid]</article-title>
          . // Vestnik MGOU,
          <string-name>
            <surname>seriya</surname>
            <given-names>FM</given-names>
          </string-name>
          [
          <string-name>
            <surname>Bulletin</surname>
            <given-names>MSRU</given-names>
          </string-name>
          , PhM series].
          <year>2010</year>
          . No.2, P.
          <volume>47</volume>
          <fpage>52</fpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>