Южно-Уральский государственный университет В Лаборатории суперкомпьютерного моделирования Южно-Уральского государственного университета установлено три суперкомпьютера. На суперкомпьютерах выполняется широкий спектр фундаментальных научных исследований в области физики, химии, математики, фундаментальной информатики и других дисциплин, а также множество инженерных расчетов, проводимых для промышленных предприятий России. В статье описывается архитектура и характеристики супервычислителей ЮУрГУ, параметры параллельных систем хранения данных, а также система мониторинга загрузки суперкомпьютерного центра. Ключевые слова: суперкомпьютерный центр, вычислительный кластер, суперкомпьютерное моделирование, параллельная система хранения данных, мониторинг.
2. Суперкомпьютерные вычислительные ресурсы
Для решения постоянно расширяющегося спектра промышленных и научных задач, ЮУрГУ регулярно выполняет обновление и расширение своих вычислительные мощностей. В настоящий момент в Лаборатории суперкомпьютерного моделирования Южно-Уральского государственного национального исследовательского университета функционирует 3 суперкомпьютера: «Торнадо ЮУрГУ», «СКИФ-Аврора ЮУрГУ» и «СКИФ Урал». На рис. 1 приведена динамика роста производительности суперкомпьютеров ЛСМ ЮУрГУ. Высокопроизводительный вычислительный кластер «СКИФ Урал» с пиковой производительностью 16 Терафлопс был разработан российской компанией «Т-Платформы» в 2008 году. Следующий суперкомпьютер «СКИФ-Аврора» был разработан и поставлен в ЮУрГУ в 2011 году компанией «РСК» совместно с ИПС им. А.К. Айламазяна РАН и обладает производительностью 117 Терафлопс. Наиболее мощный на данный момент суперкомпьютер «Торнадо ЮУрГУ» (2013 год) с производительностью 473 Терафлопс разработан компанией «РСК-Технологии».
Рис. 1. Динамика развития вычислительных ресурсов суперкомпьютерного центра Вычислитель «СКИФ-Урал» использует воздушную систему охлаждения, в то время как в суперкомпьютерах «СКИФ-Аврора» и «Торнадо ЮУрГУ» применяется полное жидкостное охлаждение. Жидкостное охлаждение позволило в разы уменьшить площадь помещений, требуемую для размещения вычислительных комплексов, а также добиться высокой энергоэффективности супервычислителей. 2.1. Суперкомпьютер «Торнадо ЮУрГУ»
Суперкомпьютер «Торнадо ЮУрГУ» с производительностью 473 Терафлопс занимает 7 место в рейтинге СНГ TОП50 (сентябрь 2015) и 349 место в рейтинге мощнейших суперкомпьютеров мира ТОП500 (ноябрь 2015). Суперкомпьютер ЮУрГУ отличается полным жидкостным охлаждением, высочайшей плотностью упаковки электронных компонентов и энергоэффективностью. Он занимает 174 место в списке наиболее энергоэффективных суперкомпьютеров GREEN-500 (ноябрь 2015). Вычислитель состоит из 480 двухпроцессорных вычислительных узлов на базе процессоров и многоядерных ускорителей Intel (см. табл. 1). В 2013 г. «Торнадо ЮУрГУ» – стал первой за пределами США вычислительной установкой, в которой были применены многоядерные ускорители Intel Xeon Phi. Таблица 1. Характеристика суперкомпьютера «Торнадо ЮУрГУ» Число вычислительных узлов / процессоров / сопроцессоров / ядер Тип процессора Тип сопроцессора Оперативная память Дисковая память Тип системной сети Тип управляющей сети Пиковая производительность комплекса Производительность комплекса на тесте LINPACK Операционная система 480/960/384/29184 Intel Xeon X5680 (6х3.33 ГГц) – 960 шт.
Intel Xeon Phi SE10X (61x1.1 ГГц) – 384 шт. 16.9 ТБ 300 ТБ на параллельной системе хранения данных Panasas ActiveStor 11 и SSD дисках InfiniBand QDR (40 Гбит/с) Gigabit Ethernet 473.6 Терафлопс 288.2 Терафлопс
Linux CentOS 2.2. Суперкомпьютер «СКИФ-Аврора ЮУрГУ»
Суперкомпьютер «СКИФ-Аврора ЮУрГУ» – это комплексное решение, разработанное компанией «РСК СКИФ» при участии Института программных систем им. А.К. Айламазяна РАН в 2010 г. Суперкомпьютер «СКИФ-Аврора ЮУрГУ» состоит из 736 компактных и мощных вычислительных blade-модулей с жидкостным охлаждением (см. табл. 2). В данный момент система занимает 14 место в рейтинге мощнейших суперкомпьютеров СНГ ТОП50.
Таблица 2. Характеристика суперкомпьютера «СКИФ-Аврора ЮУрГУ» Число вычислительных узлов / процессоров / ядер Тип процессора Оперативная память Дисковая память Тип системной сети Тип управляющей сети Сервисные сети Ускорители Пиковая производительность Производительность на тесте LINPACK Операционная система 736/1472/8832 Intel Xeon X5680 (6х3.33 GHz) 3 TB (DDR3-1333) 64 TB, SSD 3D тор (60 Gbit/s, макс. задержка 1 µs) InfiniBand QDR (40 Gbit/s, макс. задержка 2 µs) Сервисная сеть СКИФ ServNet v.4 Сеть глобальной синхронизации Программируемые FPGA-ускорители 117 Терафлопс 100.4 Терафлопс
Linux CentOS 2.3. Суперкомпьютер «СКИФ Урал»
Высокопроизводительный вычислительный кластер «СКИФ Урал» был разработан компанией «Т-Платформы» для ЮУрГУ в рамках приоритетного национального проекта «Образование» в 2008 г. Кластер состоит из 166 вычислительных узлов (см. табл. 3).
В настоящее время кластер уже не является системой ТОП класса и используется для
обучения студентов в рамках системы Персональный виртуальный компьютер (платформа ПВК) [
В суперкомпьютерах ЮУрГУ используются различные системы хранения данных (СХД), произведенные компаниями Panasas, HP и AXUS. 3.1. Система хранения данных «Panasas ActiveStor 11»
Суперкомпьютер “Торнадо ЮУрГУ” изначально, оснащался СХД AXUS YB, на базе которого была настроена файловая система Lustre. При небольшом количестве узлов и пользователей, работающих на суперкомпьютере, Lustre справлялась с нагрузкой, и работа была достаточно стабильной. С ростом количества пользователей суперкомпьютера, производительности СХД стало не хватать. В 2013 г. в суперкомпьютер “Торнадо ЮУрГУ” была установлена высокопроизводительная параллельная СХД Panasas (2 полки, 22 лезвия), а СХД AXUS YB стала использоваться для хранения служебных данных, таких как дистрибутивы, репозиторий пакетов, и т.п. Позже СХД AXUS было переконфигурирована для работы с CIFS.
В настоящее время СХД Panasas на суперкомпьютере «Торнадо ЮУрГУ» состоит из 5 полок, объединенных в единую систему. Четыре полки содержат по 10 серверов хранения (StorageBlade), каждый объемом по 4 Тб, и по 1 серверу управления (DirectorBlade), пятая полка содержит 11 серверов хранения. Общий объем хранилища составляет 204 Тб, но фактически он меньше, т.к. часть серверов хранения используется для репликации данных. В системе настроено 7 виртуальных hotspare узлов, что позволяет сохранять систему в работоспособном состоянии при выходе из строя до 7-х лезвий хранения данных. Узлы DirectorBlade служат для хранения метаданных и на них запущены сервисы для обеспечения доступа к данным, таким как PanFS, NFS и CIFS. СХД в текущей конфигурации обеспечивает до 30000 IOPS в пике (см. табл. 4). Таблица 4. Производительность СХД «Panasas ActiveStor 11» Характеристика Операций ввода-вывода в секунду (IOPS) Скорость записи (МБ/с) Скорость чтения (МБ/с) Среднее 6 115 245 213 Максимум 30 886 2 402 3 239 Полки хранилища Panasas имеют поддержку только 10 Gigabit Ethernet. Для подключения СХД к InfiniBand сети кластера, используются три InfiniBand роутера Panasas, которые маршрутизируют пакеты из InfiniBand сети в сеть СХД. Балансировка загрузки сети выполняется на вычислительных узлах посредством создания маршрутов до сети СХД с одинаковой метрикой.
Схема подключения СХД к суперкомпьютеру «Торнадо ЮУрГУ» представлена на рис. 2. Каждая из пяти полок хранилища подключается 10-гигабитными кабелями к коммутатору, который в свою очередь соединен тремя парами таких же 10-гигабитных кабелей с тремя InfiniBand - роутерами Panasas. Роутеры InfiniBand подключаются с помощью 40-гигабитных кабелей к InfiniBand QDR сети суперкомпьютера «Торнадо ЮУрГУ». Рис. 2. Схема подключения Panasas ActiveStor 11 к сети суперкомпьютера «Торнадо ЮУрГУ» Panasas ActiveStor используется для хранения исходных данных и результатов расчетов пользователей суперкомпьютера «Торнадо ЮУрГУ». Хранилище сейчас успешно используют более 390 пользователей. 3.2. Система хранения данных «AXUS YB – III» на базе Lustre
В ЛСМ сейчас используется два хранилища AXUS YB-III. Одно хранилище подключено к суперкомпьютеру «СКИФ-Аврора», а другое – к «Торнадо ЮУрГУ». Каждое хранилище состоит из 4 полок, каждая полка объединена в массив RAID 10. Общий объем каждого хранилища – 64 Тбайт. К достоинствам данных хранилищ можно отнести высокую надежность аппаратной части (за 4 года интенсивного использования вышли из строя 1 из 16 блоков питания и 3 из 128 жестких дисков Enterprise SATA). К недостаткам СХД можно отнести используемую параллельную файловую систему Lustre, имеющую более низкую надежность и производительность, чем у коммерческих аналогов. Производительность параллельной СХД, построенной на базе СХД AXUS и файловой системы Lustre составляла 5000 IOPS в пике, что серьезно ограничивало производительность суперкомпьютера. Кроме того, появлявшиеся ошибки файловой системы требовали полной остановки всех вычислений до окончания процесса исправления этих ошибок. В настоящее время СХД на базе AXUS YB переконфигурирована и использоваться для работы с CIFS.
Логическая схема подключения СХД AXUS к суперкомпьютеру «Торнадо ЮУрГУ» представлена на рис. 3. Каждая полка хранилища (Shelf-1 – Shelf-4) поделена две части. Одна часть отформатирована как файловая система Ext4, на ее основе работает параллельная файловая система Lustre. Другая часть используется системой LVM (Logical Volume Manager), которая рассматривает эти части как физические тома (Physical Volume). Физические тома объединяются в виртуальную группу Virtual Group Storage, которая позволяет работать с хранилищем как с единым дисковым пространством. Эта виртуальная группа разбивается на два логических тома Logical Volume, один из которых используется для работы с CIFS, а другой настроен как iSCSI. Рис. 3. Логическая схема подключения СХД AXUS к суперкомпьютеру «Торнадо ЮУрГУ» 3.1. Система хранения данных «Panasas ActiveStor 8»
За восемь лет использования в суперкомпьютере «СКИФ Урал», параллельная система хранения данных Panasas ActiveStor 8 показала себя системой с высочайшей надежностью. Надежность старой системы Panasas ActiveStor 8 оказалась значительно выше, чем у системы Panasas ActiveStor 11, приобретенной в 2013 г. Схема подключения Panasas ActiveStor 8 к суперкомпьютеру «СКИФ Урал» представлена на рис. 4. Каждая из двух полок хранилища подключена четырьмя гигабитными кабелями к гигабитному Ethernet-свичу, который также соединен с каждым из 168 вычислительных узлов суперкомпьютера «СКИФ Урал».
Рис. 4. Схема подключения Panasas ActiveStor 8 к суперкомпьютеру «СКИФ Урал» 4. Системы мониторинга
Системы мониторинга занимают важное место в современных вычислительных
центрах [
Nagios. Информация о наиболее важных сервисах выведена на монитор, расположенный на стене в зале системных администраторов суперкомпьютерного центра. Система позволяет персоналу быстрее реагировать на возникающие технические проблемы. Администраторы получают оповещения по email о сбоях сервисов в их зоне ответственности. Nagios позволяет получить только общую информацию о работе сервисов по типу «работает/не работает», а при диагностике конкретной неполадки администраторы пользуются дополнительными системами мониторинга [10].
Ganglia. При помощи данной системы выполняется мониторинг загрузки вычислительных узлов кластеров. Система позволяет просматривать историю, сравнивать загрузку вычислительных узлов и искать причины снижения вычислительной производительности [10].
Встроенные системы мониторинга используются во многом современном серверном оборудовании, например, система мониторинга параллельной СХД Panasas (см. рис. 5), СХД HP, менеджер инфраструктуры APC, система мониторинга чиллеров и кондиционеров и т.д. Перечисленные встроенные системы мониторинга передают информацию о своем состоянии в виде специальных SNMP (Simple Network Management Protocol) пакетов на сервер Nagios, который уже занимается ее дальнейшей обработкой и пересылкой. 4.2. Система мониторинга СКЦ
В лаборатории суперкомпьютерного моделирования была разработана собственная система
мониторинга загрузки суперкомпьютеров ЮУрГУ. Необходимость разработки собственной
системы была вызвана потребностью в регулярном формировании множества специфических
отчетов о загрузке суперкомпьютеров и о деятельности структурного подразделения университета.
При возникновении новых требований к отчетам, процедура формирования дополнительных
статистических выборок и графиков встраивается в функционал системы и в дальнейшем повторное
создание аналогичного отчета многократно упрощается и ускоряется. Система строит графики и
помогает системным администраторам формировать отчеты о загрузке суперкомпьютеров.
Администраторам доступна функция просмотра информации о пользователях и их расчетах на
суперкомпьютере, о текущей загрузке кластеров, количестве задач в очереди, информации о
работающих и неработающих узлах. Также возможно автоматическое формирование отчетов о
загрузке суперкомпьютеров за определенный период. Рядовым пользователям суперкомпьютера
доступна информация о свободных узлах в очереди, о задачах данного пользователя, как о
завершенных, так и о выполняющихся [
Рис. 5. Система мониторинга загрузки Очередь задач SLURM, установленная на кластере, использует базу данных MySQL для хранения данных о задачах, которые уже считаются или только добавлены в очередь. БД содержит информацию о номере задачи, пользователе, поставившем задачу на расчет, времени постановки задачи в очередь, количестве и номерах запрошенных узлов, время начала и время окончания исполнения задачи, а также статус, с которым задача завершилась. Модуль, написанный с помощью Django framework, отвечает за отображение информации и визуализацию данных о загрузке суперкомпьютеров конечному пользователю. Поскольку Django основан на технологии MVT (Model-View-Template), это позволяет быстро разрабатывать гибкие веб-приложения, сосредотачиваясь непосредственно на реализации внутренней логики приложения.
На главной странице системы (см. рис. 5) собрана наиболее важная информация, интересующая руководителя и администраторов ЛСМ ЮУрГУ, как например: статистика по узлам в процентном соотношении (работающие, выключенные, зарезервированные, свободные); статистика по запрошенным узлам в очереди (количество узлов, на которых уже выполняется работа; узлов, запрошенных в текущий момент времени; заблокированные узлы и узлы, которые освобождаются и в скором времени вернутся обратно в очередь); пользователи, которые «онлайн» в данный момент времени, то есть запустившие терминал удаленного доступа и работающие в нем; динамика загруженности суперкомпьютера за определенный период; вывод консольной команды «sudo squeue», показывающей подробную информацию о всех задачах, работающий в данный момент с очередью задач (выполняются, ожидают выполнения, завершаются). При возникновении новых требований к отчетам, процедура формирования дополнительных статистических выборок и графиков заметно упрощается. Например, на рис. 6 приведен пример вывода информации о текущих и завершившихся расчетах выбранного пользователя суперкомпьютера за указанный период.
Рис. 6. Информация о текущих и завершившихся расчетах выбранного пользователя 5. Заключение
Суперкомпьютерные технологии занимают центральное место в программах развития Южно-Уральского государственного университета. Суперкомпьютер «СКИФ Урал» был приобретен вузом в 2007 г. при прохождении в список участников национального проекта «Образование», «СКИФ Аврора ЮУрГУ» - при получении ЮУрГУ статуса национального исследовательского университета в 2010 г, а суперкомпьютер «Торнадо ЮУрГУ», построенный в 2013 г. способствовал включению университета в программу 5-100.
На суперкомпьютерах установлено современное отечественное и импортное параллельное программное обеспечение, при помощи которого научные группы университета выполняют перспективные исследования.
Для обеспечения непрерывной работы трех суперкомпьютеров, четырех параллельных систем хранения данных и многочисленных вспомогательных сервисов, сотрудники лаборатории суперкомпьютерного моделирования используют автоматические системы мониторинга, которые способны автоматически генерировать отчеты о состоянии оборудования и отправлять их на почту администраторов и руководителя. Литература 2. Besedin K.Y., Kostenetskiy P.S., Prikazchikov S.O. Increasing Efficiency of Data Transfer Between Main Memory and Intel Xeon Phi Coprocessor or NVIDIA GPUS with Data Compression // Lecture Notes in Computer Science, Springer, 2015. Vol. 9251 P. 319-323. 3. Dolganina N.Yu., Kudryavtsev O.A., Sapozhnikov S.B. An assessment of the aramid felt high velocity impact resistance // Proceedings of 20th International Conference on Composite Materials ICCM20 (19-24 July 2015, Copenhagen, Denmark), 2015. P. 1-10. 4. Ivanova E., Sokolinsky L. Decomposition of Natural Join Based on Domain-Interval Fragmented Column Indices // 38th International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO) 2015, Opatija, Croatia, May 25-29, 2015. IEEE, 2015.
P. 223-226 5. Kostenetskiy P.S., Sokolinsky L.B. Analysis of Hierarchical Multiprocessor Database Systems // Proceedings of the 2007 International Conference on High Performance Computing, Networking and Communication Systems (HPCNCS–07), July 9–12 2007, Orlando, FL, USA. ISRST, 2007.
P. 245–251. 7. Sapozhnikov S.B., Kudryavtsev O.A., Dolganina N.Yu. Experimental and numerical estimation of strength and fragmentation of different porosity alumina ceramics // Materials and Design. 2015.
No. 88. P. 1042–1048. 9. Sozykin S.A., Beskachko V. P. Structure of endohedral complexes of carbon nanotubes encapsulated with lithium and sodium // Molecular Physics. 2013. Vol. 111. P. 930–938.
There are three supercomputers in the Supercomputer Simulation Laboratory of South Ural State University. Laboratory provides fundamental and applied research and developments of innovative character in the fields of physics, chemistry, mathematics, fundamental informatics and many others. In addition, many Russian industrial companies perform engineering researches on these supercomputers. This article is to describe architecture and specifications of SUSU supercomputers, parallel data-storage systems and monitoring system of supercomputer center. 2. Besedin K.Y., Kostenetskiy P.S., Prikazchikov S.O. Increasing Efficiency of Data Transfer Between Main Memory and Intel Xeon Phi Coprocessor or NVIDIA GPUS with Data Compression // Lecture Notes in Computer Science, Springer, 2015. Vol. 9251 P. 319-323. 3. Dolganina N.Yu., Kudryavtsev O.A., Sapozhnikov S.B. An assessment of the aramid felt high velocity impact resistance // Proceedings of 20th International Conference on Composite Materials ICCM20 (19-24 July 2015, Copenhagen, Denmark), 2015. P. 1-10. 4. Ivanova E., Sokolinsky L. Decomposition of Natural Join Based on Domain-Interval Fragmented Column Indices // 38th International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO) 2015, Opatija, Croatia, May 25-29, 2015. IEEE, 2015.
P. 223-226 5. Kostenetskiy P.S., Sokolinsky L.B. Analysis of Hierarchical Multiprocessor Database Systems // Proceedings of the 2007 International Conference on High Performance Computing, Networking and Communication Systems (HPCNCS–07), July 9–12 2007, Orlando, FL, USA. ISRST, 2007.
P. 245–251. 7. Sapozhnikov S.B., Kudryavtsev O.A., Dolganina N.Yu. Experimental and numerical estimation of strength and fragmentation of different porosity alumina ceramics // Materials and Design. 2015.
No. 88. P. 1042–1048. 9. Sozykin S.A., Beskachko V. P. Structure of endohedral complexes of carbon nanotubes encapsulated with lithium and sodium // Molecular Physics. 2013. Vol. 111. P. 930–938. 10. Wu M., Zhang Z., Li Y. Application research of Hadoop resource monitoring system based on Ganglia and Nagios // Proceedings of the IEEE international conference on software engineering and service sciences (ICSESS 2013), May 23–25 2013, Beijing, China. IEEE Press, 2013.
P. 684-688. 11. Zymbler M.L. Best-match Time Series Subsequence Search on the Intel Many Integrated Core Architecture // Proceedings of the 19th East-European Conference on Advances in Databases and Information Systems, ADBIS 2015 (Poitiers, France, September 8–11, 2015). Lecture Notes in Computer Science. Vol. 9282. Springer, 2015. P. 275–286.