А.Ю. Сафонов, П.С. Костенецкий, К.В. Бородулин, Ф.М. Мелехин Южно-Уральский государственный университет В Лаборатории суперкомпьютерного моделирования Южно-Уральского государственного национального исследовательского университета разработана и активно развивается система мониторинга и обработки данных с суперкомпьютеров. Система позволяет администраторам и руководителям лаборатории получать различные отчеты о состоянии суперкомпьютеров и предоставляет инструменты для быстрого разрешения возникающих проблемных ситуаций. Работа посвящена проблемам сбора и отображения статистических данных, получаемых администраторами с суперкомпьютеров ЮУрГУ.
В современном суперкомпьютерном центре одной из самых важных задач являются задачи наблюдения за эффективностью использования вычислительных ресурсов и своевременного реагирования на возможные неполадки и проблемы на суперкомпьютере. Не менее важно также постоянно следить за количеством задач в очереди, составе запрашиваемых ресурсов и иметь возможность оценить динамику изменения этих и других статистических данных за определенный период. В Лаборатории суперкомпьютерного моделирования Южно-Уральского государственного национального исследовательского университета разработана и активно развивается система сбора и отображения статистических данных о загрузке суперкомпьютеров [1].
На суперкомпьютере «Торнадо ЮУрГУ» установлено две параллельные системы хранения данных: Panasas ActiveStor 11 и Axus YB. СХД кластера используют параллельные файловые системы PanFS и Lustre соответственно. Пользователям вычислительного кластера по умолчанию доступна СХД Panasas, а Lustre используется для отдельных расчетов, требующих выделения до 40 Тб места на хранилище либо требующих iSCSI доступ (при решении задач в ОС Windows).
СХД Panasas имеет собственную встроенную систему мониторинга с широкими возможностями и надстройки над ней не требуются, в то же время мониторинг СХД на базе Lustre ведется постоянно при помощи Nagios. Хранилище на базе файловой системы Lustre как правило вызывает ошибки двух видов: 1) переход в режим «Только чтение» при аппаратных неисправностях или ошибках в файловой системе; 2) деградация производительности при заполнении хранилища более чем на 85%. Отслеживание данных неполадок осуществляется при помощи Nagios.
Одним из способов организации мониторинга является подход на основе ситуационного экрана суперкомпьютера. Основная задача ситуационного экрана при анализе данных -это предоставление актуальной информации о состоянии системы: отказы оборудования или компонентов программного обеспечения должны быть немедленно отображены на ситуационном экране [2]. Однако в разных суперкомпьютерных центрах кроме решения основных задач существуют собственные требования к системе мониторинга и информационным сервисам.
Необходимость разработки собственной системы была вызвана потребностью в регулярном формировании множества специфических отчетов о загрузке суперкомпьютеров и о деятельности структурного подразделения университета. При возникновении новых требований к отчетам, процедура формирования дополнительных статистических выборок и графиков встраивается в функционал системы и в дальнейшем повторное создание аналогичного отчета многократно упрощается и ускоряется. Система строит графики и помогает системным администраторам формировать отчеты о загрузке суперкомпьютеров. Администраторам доступна функция просмотра информации о пользователях и их расчетах на суперкомпьютере, о текущей загрузке кластеров, количестве задач в очереди, информации о работающих и неработающих узлах. Также возможно автоматическое формирование отчетов о загрузке суперкомпьютеров за определенный период. Рядовым пользователям суперкомпьютера доступна информация о сво-бодных узлах в очереди, о задачах данного пользователя, как о завершенных, так и о выполняющихся.
Alexander Safonov, Pavel Kostenetskiy, Kirill Borodulin and Fedor Melekhin Keywords: supercomputer, management, slurm, mysql A new system capable of monitoring and processing data for the Supercomputer Simulation Laboratory of South Ural State University is described. This system allows administrators and managers to create many different reports and provides tools to robust reaction to problems of an urgent character. This article is devoted to issues concerning with collecting and visualizing statistical data obtained from supercomputers.