-

ae Łaeº Ł Ł ae ø ªŁ aeŒŁı ßı Ł aeŒ

2016

205 220

∗- Æ ª 15-01-00508 Ł 16-07-00434, ª Œ Œ Ø ae Ł ª ae ŁŁ ( .¨. ´ Æ ).

¨ ae Ł ß ŁaeºŁ º Ø ŁŒŁ Ł º Ł — ˝ 1, ˝ aeŁÆŁ aeŒŁØ ª ae ae Astrophysics, University of Vienna 3, ˝¨¨ Ł aeŁ 4, — ˚ ı º ªŁŁ 5, ¨ ae Ł ª ae ae ßØ ı Ł Ł ßØ Ł ŁŒŁ, ae aeŒŁØ Ł aeŒ Ø ª Ł

aeŁ ßØ ŁŁ — ˝ 6, ˝ aeŁ 7 Ł ŁŒŁ ŁÆŁ aeŒ ª 2, Department of º ßØ aeŁÆŁ aeŒŁØ ´ Æ ae º ß Łaeaeº Ł Œ

Ł ae Ł Ł aeŒŁı ŁØ ªŁÆ Ł º Ł Intel Xeon Phi. ˛ Łae ae - Ł Ø ae Ł Ł aeŒŁı Æoe Œ . ˜ º ºŁ ŁŁ Ł Łaeaeº Ł Ł Ł º

º ß ºŁ Ł Ł Øae Ł ª º Œ ŁŒŁ. ˜º Œ AstroPhi Æßº ae Łª ª aeŒ Ł º Intel Xeon Phi, 75

ŁŁ 224 aeŒ Ł º Ø Intel Xeon Phi. ˝ ae Æßº ae Łª 47 ŁŒ Ø aeŒ º Ø Ł º Intel Xeon Phi Ł Łae º ŁŁ 53760 Ł Ø.

AstroPhi º Łaeº ßı ae ´ , ae ß ŁaeºŁ º Ø Łae ß ae Æ ae Ł ae Ł Œ AstroPhi. ˇ ª º Œ Ł aeŒ ª 134-Œ aeł ø ºŁ º ºº º ae ª ºŁ ßı aeŒ ŁŁae Ł

Ø º ß Ł ŁaeŒ Ø aeŒ Ł Œ ı ÆŁ ae Ł Łae º Ø ae Œ7168 × 1024 × 1024 Ł Ł º ae Ł aeŒ ˚ºß aeº: ´ßae Œ Ł Ł º Ł ŁŒ , aeŒ Ł ºŁ Intel Xeon Phi. 1. ´ ˛

º aeae Ł ŁŒ Ø, º [3], ıŁ

Ł Ł ae aeŒ

Ł ´ae º

ae ŒŁ ºŁ aeº aeŒ Ø º ae ª Ł ª ª º Œ ŁŒŁ M51 [5] Ł ºŁ

Ł Ł aeŒŁı aeae Ł Ł aeŒŁı aeae . ˚ ŒŁı Ł ª Ł Ł , º ºŁ. ˜ ae Ł Ł Æae aeŒŁı ºŁ ˜º ı Ł ae aeŒ Œ Ł º Łae Ł Ł aeŒ

ºŁ Ł ß Ł ae Ł Ł Ł ºŒ ae º Ø. ˛

Ł ae Ł aeŒŁ Ł ß

º aeº ae

ª , ae ae Łae Ł Œ º ae aeº Æº ae Œ Ł aeº ßı ae Ł Ł ŁÆ º ø ß ae Æ aeŒ Ø aeŁŁ 2015 ª Ł º Ł Intel Xeon Phi. ˛ Ł ı. aeŒŁı Œ Łª Œº º ae Ø ae

º Łaeaeº Ł ºŁ Ø ßı ØłŁı , ł ßı ß ŁaeºŁ Ł [1] Ł º ŁŁ ª º Œ ŁŒ [2], aeaeß ª º Œ ŁŒ ı [4]. ˇ Ł Œ ae Ł

ae Ł Ł ae Ø ae ŁŁ. ª º Œ ŁŒ ı, Œ Œ Œ ª ºŁ Ł Æ aeae Æ Ł . ŒŁ Æ , Ł Æı Ł ae Æ º ł ª Łaeº

ae Ł Ł aeŒŁı Æoe Œ ae ae ßı Łae º ae ºŁ ß Æ Œ Œ Ł ßı Œ º

Ł ŁŒ .

º Ł ßı º Ø ae aeaeß Œ ºº ae

ŁŁ Œ Œ º ß Ł Ł Ł aeŒŁ Łaeaeº Œ Ł

ı ae ßı aeŒ º

Ł ae ŁaeŒ ae , aeae ßae Œ ß. ˜ Ł Top-3 (

Top-500 ae ø ßØ ae

ł ß ß ª Œ ŁŁ ÆŁ Top-10) Ł aeŒŁ Ł Œ— aeaeŁØaeŒ ª ˇ Ł Ł

º ßı Łaeaeº — MK 6648.2015.9. — Æ 3.961.2014/˚ Ł Łae ae ˛Æ ŁØ 15-31-20150 º- - , ß º Ł ae Ł Ø Ł Ł ˝ ŒŁ — aeaeŁØaeŒ Ø Œ º ae Ø Ł

º ªŁÆ Ł º ª Ł Ł aeŒ Ø ˝ ae [6] ae Łaeº ßı aeŒŁ Œ ºº Œ Ł

ßØ ı Œ Œ ºŁ Ł Ł

Ł º ßı ae ,

Œ Æ ø ŒŁ ae Æ º ł ae Æ º ł Ł ª ae Ł Æ

ae ae - Ł Ø Ł ae Łaeº Æ Łaeº º ł Ł Łae Ł Ł ŁŒŁ ae ßı

ßı Œ ł ßı Æº ºŁ ŁØ º Ł ŁŁ aeŒ º ŒŁı º ae Ł Ł aeŒŁı Æ Łaeaeº Ł Ł Ł aeŒŁı Æoe Œ .

ae ª Æ ºª Ł Æ ŒŁ.

ae ªŁÆ Ł ı Ł aeŒ ae ı ae ª

, Ł ı ı . — º ł Ł Æ Œ aeº

Ł º ł Ł Æº ae Ł Ł ae

Ł . ´ ŁªŁ º ae ae Ł Ł aeŒŁı

Ł aeŒŁı Ł Ł aeŒŁı ae ªŁÆ Ł ø Ø ae ª Œ

º Ø, ŁØ. ßØ Øº

Æ ŁAstroPhi [7] º 2. ˚ Ł ae - Ł Ø ß ŁaeºŁ º Ø aeı ß ˆº ˇ

Ł Œ ae - Ł Ø ß ae - Ł Ø ßØ Łaeº Œ ae łŁı Łaeaeº

º ae ª º Œ ŁŒ Ł Łaeº ßı Łaeº ßı

ae º Ø ae º Ø º

ŁØ º ºŁ Ł Ł Ł Ł aeŒŁı ŁØ Ł Ł ae ßı aeae . ´ Æ [8] ÆßºŁ Łaeaeº Ł ŁŒŁ Ł Ł ŁŒŁ º ß. — aeaeae Ł ł Ł ae Ł Ł aeŒŁı Æº .

ŁŒŁ ª º Œ ŁŒ.

Łae ß aeß ae ß Ł , ºŁ Ł ª Œ Ł Æ ß Łae ºŁ ae ºº º ø ı º ªŁ Œ Æ º ł ß ºª Ł

, Œ ae Œ Ł ıŁ Œ ß ae Œ . ´ łŁı Łaeaeº Ł ı Łae º ae ªŁ

Œ ß ae aeŒ Ł º Ł Intel Xeon Phi. ¸ ªŁ aeŒ ıŁ Œ ß Œ ae º ae Ł ºŁ ØŒŁ aeŒ Ł º Ø, Ł Øae

( aeº Łae º Ł native Ł ) ŁºŁ CPU ( aeº Ł o oad Ł ). ´ Œ ı ª aeŒ Ł º ß Łaeº Ł ÆŁ ( aeŒ º Œ ae ) Ł Ø. ˛ ª Ł Ł ß Łaeº ŁØ ŁªŁ º º ŁaeŒº Ł Ł Øae Ł Ł Ł Œ ı ª aeŒ Łßı ı , ºŁÆ ae Ł ŒŁ ß Łaeº Ł Œ Ł Ł . Œ ŁŒ aeº ß Łaeº Ł ł ª Ł Ł aeº Ł ˚

AstroPhi ∂ρi + ∇ · (ρi⃗u) = −sij + S ρρi − D ρρi , ∂t ∂ρ⃗u ∂t + ∇ · (ρ⃗u⃗u) = −∇p − ρ∇(Φ) + ⃗vS − ⃗uD, ∂ρE ∂t + ∇ · (ρE⃗u) = −∇ · (p⃗v) − (ρ∇(Φ), ⃗u) − Λ + Γ + ε Sρ − ε Dρ , ∂ρε ∂t + ∇ · (ρϵ⃗u) = −(γ − 1)ρϵ∇ · ⃗u − Λ + Γ + ε Sρ − ε Dρ , ρE = 1 ρ⃗u2 + ρε,

2 p = (γ − 1)ρε, ˜º

ßı ßı Œ Łae Ł Æ aeae ºŒ

Æ aeae ºŒ Ł ı: Ł º

Ø Œ Ł º ª ß Æ

Łae º Ł ` º Œ ŁØ º Øº ∂n ∂t + ∇ · (n⃗v) = D − S, ∂ρW ∂t ∂n⃗v ∂t + ∇ · (n⃗v⃗v) = −∇Π − n∇(Φ) + ⃗uD − ⃗vS, + ∇ · (ρW ⃗v) = −∇ · (Π⃗v) − (n∇(Φ), ⃗v) + ε Dρ − ε Sρ , ∂Πξξ + ∇ · (Πξξ⃗v) = −2Π∇ · ⃗u + ε D ∂t 3ρ − ε 3Sρ , ρW = 1 ρ⃗v2 + Πxx + Πyy + Πzz ,

2 2 Ł ˇ aeae º Æ Łı Œ Łaeß ae Ł : ª p º Ł ª Ł ıŁ Ł aeŒŁı Ł º Ø Œ

Ø Œ º ß, ρE º Ø ı Ł aeŒ Ø

Ł º, ε º ae Πξξ = (Πxx, Πyy, Πzz) Œ ß, S aeŒ Λ Œ Ł ıº Æ Ł Œ Æ ae Ł Łı

Ł ª ae Æ Ł , Γ Æ ae Ł

Ł 3.1. ˛ Łae ŁØ Œ ae ae , ł Ł

Ł ae , º Øł ŒŁ Œ Œ SOR Ł CGM. ˇ aeº ŁØ Łaeı Ł Œ Œ Ł Œ

ae ŁªŁ º Æß Æº

ŁaeaeŁ ŁaeŒ aeae ł Ł Ł ª Ł aeº Œ , ł Æº

ae . Łaeº ß Łaeº Ł ßØ Æßº ŁaeŁ , øŁı ª º ı: 3.2. ˜ Œ ß ßØ ae ß ˆ ae

Œae Œ ºº ae Łae Ł aełŁ Ł Ł Łaeº Ł - Ł Ø [8] Ł ŁŒ º Łae º Œ ß Ł ß ø Łae Œ (1)

ª Æº ae Ø. ł ª , Ł ß ØŒ ı ae Ł ae ß , Łaeı

aeº ß , ae ß ß Ł Ł aeŒŁ ł Ł , ae Ø Ł ae ae Ø Ł ae — º - Øº

, ˚ º Ł -ˆ º ª º

ß. ß ł ª

aeŁ º ae ŒŁaeı Ł Œ Ł Ł Ł ŁŁ ˚ ºŁ

˛ ae ae Ł º . ´ aeº

º Œ Œ Œ º ae Ł ae Łae º Ł ª

CPU [6] ( Œ Œ Ł Ø ºŁ ŁŁ OpenMP Œ

Œ ª ß ae ae ºŁ ae ª Ł aeŒŁı ª Ł aeŒ ª

aeŁ Ł , Œ ª ae ı ae º ßı. ˇ Ł , Œ ı ª GPU [6] Ł Œ ºŁ ae Œ aeŁ Ł Æß Æº ¨ae º Ł

ae ÆŁ ae ªŁ Ł ŁŁ

aeł Ł ae ae OpenMP, Ł ŁŒŁ Œ Ł ae ºº º Ø

aeŒ º ŒŁı ßae aeae ae ae ı ae º , ß Łaeº Ł ł ª Ł Æ

Ł Æßº ae Łª 55-Œ ª Ł aeŒŁı aeŒ Ł º ae Łª ÆºŁ ØłŁ º . Ł Ł Ł aeŒ Ł º ı Intel Xeon Phi.

Ł Ø ae ŒŁ Œ ßı Œ Ł ı º

º Łae º Ł º Œ Ø Æº ae Ł. Œ ª Ł Ł ß Łaeº ŁØ Ł ae . ´ Œ AstroPhi Łae º ae ª Ø Æº ae Ł. ˇ Ø Œ Ł ł ı º ªŁŁ MPI, Ł Œ Ø Æº ae Ł Ł Ł ª º MIC- ıŁ Œ ( Łae. 2).

ŁŒ ß º aeŒ ºŁ Ł Ł , ae Ł ł Ł º ªŁ º Ł º Æ aeŒ

Œ Ł Łaeı Ł ae ŁØ ae ,

Œ Œ

ŁŁaeı Ł ae Ł Ł aeŒ Ø 3.3.

Æº ß ª return a[ index ] * x ; ... // Offload / Native mode #define NATIVE /* OFFLOAD */ // Number of MIC - threads #define MIC_NUM_THREADS 240 ... #i f d e f OFFLOAD #pragma offload_attribute (push , target ( mic )) #endif double foo ( double *a, double x, int index ) { } #i f d e f OFFLOAD #pragma offload_attribute ( pop ) #endif ... #i f d e f OFFLOAD #pragma offload target ( mic ) in (a: length (N)) \

out (c: length (N)) # pragma omp parallel for default ( none ) shared (a,x,c) \

num_threads ( MIC_NUM_THREADS ) for (i =0;i<N;i ++)

c[i] = foo (a,x,i); #endif { } ... Łae º 3.4.

ae Æº Параллельные вычислительные технологии (ПаВТ’2016) || Parallel computational technologies (PCT’2016) agora.guru.ru/pavt #define COMM MPI_COMM_WORLD #define STATUS MPI_STATUS_IGNORE #define TR 1 // "to right " communications #define TL 2 // "to left " communications ... i f ( rank == 0) { buffer [0] = a[N -2];

MPI_Send ( buffer ,1 , MPI_DOUBLE , rank +1 ,TR , COMM ); MPI_Recv ( buffer ,1 , MPI_DOUBLE , rank +1 ,TL ,COMM , STATUS ); a[N -1] = buffer [0]; } i f ( rank == size -1) { MPI_Recv ( buffer ,1 , MPI_DOUBLE ,rank -1 ,TR ,COMM , STATUS ); a [0] = buffer [0]; buffer [0] = a [1];

MPI_Send ( buffer ,1 , MPI_DOUBLE ,rank -1 ,TL , COMM ); } i f ( rank !=0 && rank != size -1) { MPI_Recv ( buffer ,1 , MPI_DOUBLE ,rank -1 ,TR ,COMM , STATUS ); a [0] = buffer [0]; buffer [0] = a[N -2]; MPI_Send ( buffer ,1 , MPI_DOUBLE , rank +1 ,TR , COMM ); MPI_Recv ( buffer ,1 , MPI_DOUBLE , rank +1 ,TL ,COMM , STATUS ); a[N -1] = buffer [0]; buffer [0] = a [1];

MPI_Send ( buffer ,1 , MPI_DOUBLE ,rank -1 ,TL , COMM ); } ...

ß Łaeº ŁØ Ł Ł º ae Ł aeŒ Ł aeŒ ßı º ªŁ aeŒŁı ae Ø

aeŒ Ł º Łı Ł ae Ł Œ ßØ Æº ae Ł Ł º Æ Łaeº Łaeaeº ae Œ 512p × 256 × 256 ßØ aeŒ Ł º , ª p ae Œ 512p × 512 × 512, Æ Łı aeº aeŒ Ł º ı Intel Xeon Phi 5120 D Æßº Łae º ı Łae º ºŁae ß º ªŁ aeŒŁı ª (2) pU 80 ed 60 e pS 40 20 0 0,7 0,6

JSCC

SPb 1 2 4 8 16 32 64

MICs —Łae. 6. ¨aeaeº

Æ Ł

Ł Ł º ae ae Ł º Œ º Œae

ª º , Ł Ł,

aeº Œ ˚ ¨´ Ł ˆ ˛ — ˝; ae

Ø Æº ae Ł; ß ŁaeºŁ º Ø aeŁae ß Ł ae ı ŁŁ ˇ ae

ae ºŁ º

ø ß Œ Ł Æ ª Ł ª

ª º Œ ŁŒ -3 -2 -1 1 2

3 1. Tutukov A., Lazareva G., Kulikov I. Gas Dynamics of a Central Collision of Two Galaxies: Merger, Disruption, Passage, and the Formation of a New Galaxy // Astronomy Reports. 2011. Vol. 55, No. 9. P. 770 783. 2. Mitchell N., Vorobyov E., Hensler G. Collisionless Stellar Hydrodynamics as an E cient Alternative to N-body Methods // Monthly Notices of the Royal Astronomical Society. 2013. V. 428, No. 3. P. 2674 2687. 3. Ardeljan N.V., Bisnovatyi-Kogan G.S., Kosmachevskii G.S., Moiseenko S.G. An implicit Lagrangian code for the treatment of nonstationary problems in rotating astrophysical bodies // Astronomy and Astrophysics Supplement Series. 1996. Vol. 115. P. 573 594. 4. Khoperskov S.A, Vasiliev E.O., Sobolev A.M., Khoperskov A.V. The simulation of molecular clouds formation in the Milky Way // Monthly Notices of the Royal Astronomical Society. 2013. Vol. 428. P. 2311 2320. 5. Fletcher A., Beck R., Shukurov A., Berkhuijsen E., Horellou C. Magnetic elds and spiral arms in the galaxy M51 // Monthly Notices of the Royal Astronomical Society. 2014.

Vol. 412. P. 2396 2416. 6. Kulikov I. GPUPEGAS: A New GPU-accelerated Hydrodynamic Code for Numerical Simulations of Interacting Galaxies // The Astrophysical Journal Supplement Series. 2014.

Vol. 214, Id. 12. 7. Kulikov I.M., Chernykh I.G., Snytnikov A.V., Glinskiy B.M., Tutukov A.V. AstroPhi: A code for complex simulation of dynamics of astrophysical objects using hybrid supercomputers // Computer Physics Communications. 2015. Vol. 186. P. 71 80. 8. Glinskiy B., Kulikov I., Snytnikov A., Romanenko A., Chernykh I., Vshivkov V. Co-design of Parallel Numerical Methods for Plasma Physics and Astrophysics // Supercomputing frontiers and innovations. 2015. Vol. 1, No. 3. P. 88 98. 9. Vorobyov E., Recchi S., Hensler G. Stellar hydrodynamical modeling of dwarf galaxies: simulation methodology, tests, and rst results // Astronomy & Astrophysics. 2015.

Vol. 579, Id. A9. 10. Kulikov I., Chernykh I. Glinskiy B., Weins D., Shmelev A. Astrophysics simulation on RSC massively parallel architecture // Proceedings 2015 IEEE/ACM 15th International Symposium on Cluster, Cloud, and Grid Computing, CCGrid 2015. 2015. P. 1131 1134. 11. Vshivkov V., Lazareva G., Snytnikov A., Kulikov I. Supercomputer Simulation of an Astrophysical Object Collapse by the Fluids-in-Cell Method // Lecture Notes of Computer Science. 2009. Vol. 5698. P. 414 422. 12. Kulikov I., Chernykh I., Katysheva E., Protasov A., Serenko A. The numerical simulation of interacting galaxies by means of hybrid supercomputers // Bulletin NCC: Numerical analysis. 2015. Vol. 17. P. 17 33. 13. Popov M., Ustyugov S. Piecewise parabolic method on local stencil for gasdynamic simulations // Computational Mathematics and Mathematical Physics. 2007. Vol. 47, No. 12. P. 1970 1989. 14. Popov M., Ustyugov S. Piecewise parabolic method on a local stencil for ideal magnetohydrodynamics // Computational Mathematics and Mathematical Physics. 2008. Vol. 48, No. 3. P. 477 499. 15. Vshivkov V., Lazareva G., Snytnikov A., Kulikov I., Tutukov A. Hydrodynamical code for numerical simulation of the gas components of colliding galaxies // The Astrophysical Journal Supplement Series. 2011. Vol. 194, Id. 47. 16. Godunov S., Kulikov I. Computation of Discontinuous Solutions of Fluid Dynamics Equations with Entropy Nondecrease Guarantee // Computational Mathematics and Mathematical Physics. 2014. Vol. 54. P. 1012 1024. 17. Vshivkov V., Lazareva G., Snytnikov A., Kulikov I., Tutukov A. Computational methods for ill-posed problems of gravitational gasodynamics // Journal of Inverse and Ill-posed Problems. Vol. 19, No. 1. P. 151 166. 18. Kulikov I., Vorobyov E. Using the PPML approach for constructing a low-dissipation, operator-splitting scheme for numerical simulations of hydrodynamic ows // The Journal of Computational Physics. (submitted, 2016) 19. Kulikov I., Chernykh I., Snytnikov A., Protasov V., Tutukov A., Glinsky B. Numerical Modelling of Astrophysical Flow on Hybrid Architecture Supercomputers // In Parallel Programming: Practical Aspects, Models and Current Limitations (ed. M. Tarkov). 2015.

P. 71 116. 20. Frigo M., Johnson S. The Design and Implementation of FFTW3 // Proceedings of the

IEEE. 2005. Vol. 93, No. 2. P. 216 231. 21. Kalinkin A., Laevsky Y., Gololobov S. 2D Fast Poisson Solver for High-Performance

Computing // Lecture Notes in Computer Science. 2009. Vol. 5698. P. 112 120. 22. Schive H., Tsai Y., Chiueh T. GAMER: a GPU-accelerated Adaptive-Mesh-Re nement

Code for Astrophysics // The Astrophysical Journal. 2010. Vol. 186. P. 457 484. 23. Podkorytov D., Rodionov A., Sokolova O., Yurgenson A. Using Agent-Oriented Simulation System AGNES for Evaluation of Sensor Networks // Lecture Notes of Computer Science. 2010. Vol. 6235. P. 247 250. 24. Ja e Y.L., Smith R., Candlish G., Poggianti B.M., Sheen Y.-K., Verheijen M.A.W.

BUDHIES II: A phase-space view of HI gas stripping and star-formation quenching in cluster galaxies // Monthly Notices of the Royal Astronomical Society. 2015. Vol. 448.

P. 1715 1728. 25. Vollmer B., Cayatte V., Balkowski C., Duschl W.J. Ram pressure stripping and galaxy orbits: The case of the Virgo cluster // The Astrophysical Journal. 2001. Vol. 561.

P. 708 726. 26. Cayatte V., Kotanyi C., Balkowski C., van Gorkom J.H. A very large array survey of neutral hydrogen in Virgo Cluster spirals. 3: Surface density pro les of the gas // The Astronomical Journal. 1994. Vol. 107, No. 3. P. 1003 1017. Numerical Hydrodynamics Simulation of Astrophysical

Flows at Intel Xeon Phi supercomputers

Institute of Computational Mathematics and Mathematical Geophysics SB RAS, Novosibirsk, Russian Federation 1, Novosibirsk State University, Novosibirsk, Russian Federation2, Department of Astrophysics, University of Vienna 3, Research Institute of Physics, Southern Federal University, Rostov-on-Don, Russian Federation 4, RSC Group,

Moscow, Russian Federation 5, Institute of Astronomy RAS, Moscow, Russian Federation6, Novosibirsk State Technical University, Novosibirsk, Russian Federation 7 In this paper we present the AstroPhi code for numerical simulation of astrophysical ows at Intel Xeon Phi supercomputers. The co-design of a computational astrophysics model is described. The parallel implementation and scalability tests of the AstroPhi code are presented. The results of simulation of interaction between intergalactic wind and a disk galaxy are provided. For AstroPhi code a 134x speed-up with one Intel Xeon Phi accelerator and 75% weak scaling e ciency on 224x Intel Xeon Phi accelerators was obtained. We obtained the peak performance on a 7168 × 1024 × 1024 mesh size using 53760 RSC PetaStream threads. 1. Tutukov A., Lazareva G., Kulikov I. Gas Dynamics of a Central Collision of Two Galaxies: Merger, Disruption, Passage, and the Formation of a New Galaxy // Astronomy Reports. 2011. Vol. 55, No. 9. P. 770 783. 2. Mitchell N., Vorobyov E., Hensler G. Collisionless Stellar Hydrodynamics as an E cient Alternative to N-body Methods // Monthly Notices of the Royal Astronomical Society. 2013. V. 428, No. 3. P. 2674 2687. 3. Ardeljan N.V., Bisnovatyi-Kogan G.S., Kosmachevskii G.S., Moiseenko S.G. An implicit Lagrangian code for the treatment of nonstationary problems in rotating astrophysical bodies // Astronomy and Astrophysics Supplement Series. 1996. Vol. 115. P. 573 594. 4. Khoperskov S.A, Vasiliev E.O., Sobolev A.M., Khoperskov A.V. The simulation of molecular clouds formation in the Milky Way // Monthly Notices of the Royal Astronomical Society. 2013. Vol. 428. P. 2311 2320. 5. Fletcher A., Beck R., Shukurov A., Berkhuijsen E., Horellou C. Magnetic elds and spiral arms in the galaxy M51 // Monthly Notices of the Royal Astronomical Society. 2014.

Vol. 412. P. 2396 2416. 6. Kulikov I. GPUPEGAS: A New GPU-accelerated Hydrodynamic Code for Numerical Simulations of Interacting Galaxies // The Astrophysical Journal Supplement Series. 2014.

Vol. 48, No. 3. P. 477 499. 15. Vshivkov V., Lazareva G., Snytnikov A., Kulikov I., Tutukov A. Hydrodynamical code for numerical simulation of the gas components of colliding galaxies // The Astrophysical Journal Supplement Series. 2011. Vol. 194, Id. 47. 16. Godunov S., Kulikov I. Computation of Discontinuous Solutions of Fluid Dynamics Equations with Entropy Nondecrease Guarantee // Computational Mathematics and Mathematical Physics. 2014. Vol. 54. P. 1012 1024. 17. Vshivkov V., Lazareva G., Snytnikov A., Kulikov I., Tutukov A. Computational methods for ill-posed problems of gravitational gasodynamics // Journal of Inverse and Ill-posed Problems. Vol. 19, No. 1. P. 151 166. 18. Kulikov I., Vorobyov E. Using the PPML approach for constructing a low-dissipation, operator-splitting scheme for numerical simulations of hydrodynamic ows // The Journal of Computational Physics. (submitted, 2016) 19. Kulikov I., Chernykh I., Snytnikov A., Protasov V., Tutukov A., Glinsky B. Numerical Modelling of Astrophysical Flow on Hybrid Architecture Supercomputers // In Parallel Programming: Practical Aspects, Models and Current Limitations (ed. M. Tarkov). 2015.

P. 71 116. 20. Frigo M., Johnson S. The Design and Implementation of FFTW3 // Proceedings of the

IEEE. 2005. Vol. 93, No. 2. P. 216 231. 21. Kalinkin A., Laevsky Y., Gololobov S. 2D Fast Poisson Solver for High-Performance

Computing // Lecture Notes in Computer Science. 2009. Vol. 5698. P. 112 120. 22. Schive H., Tsai Y., Chiueh T. GAMER: a GPU-accelerated Adaptive-Mesh-Re nement Code for Astrophysics // The Astrophysical Journal. 2010. Vol. 186. P. 457 484. 23. Podkorytov D., Rodionov A., Sokolova O., Yurgenson A. Using Agent-Oriented Simulation System AGNES for Evaluation of Sensor Networks // Lecture Notes of Computer Science. 2010. Vol. 6235. P. 247 250. 24. Ja e Y.L., Smith R., Candlish G., Poggianti B.M., Sheen Y.-K., Verheijen M.A.W.

BUDHIES II: A phase-space view of HI gas stripping and star-formation quenching in cluster galaxies // Monthly Notices of the Royal Astronomical Society. 2015. Vol. 448.

P. 1715 1728. 25. Vollmer B., Cayatte V., Balkowski C., Duschl W.J. Ram pressure stripping and galaxy orbits: The case of the Virgo cluster // The Astrophysical Journal. 2001. Vol. 561.