The active adoption of virtualization methods in existing IT infrastructures and the transition to the use of GRID and cloud computing requires new personnel who own these technologies. The article proposes an approach for creating a training ground using new methods of virtualization of computing resources. Using the proposed approach on the basis of existing computer technology, it is possible to create a failover cluster, inside which already configured virtual environments are launched in the corresponding containers for various computing tasks, as well as for organizing the training process.
1 Грузинский Технический Университет, Грузия, Тбилиси,0160, ул. Костава 77 Активное внедрение методов виртуализации в действующие IT-инфраструктуры и переход на использование GRID и облачных вычислений требует новых кадров, владеющих этими технологиями. В статье предложен подход для создания учебного полигона с применением новых методов виртуализации вычислительных ресурсов. С помощью предложенного подхода на базе существующей компьютерной техники возможно создание отказоустойчивого кластера, внутри которого в соответствующих контейнерах запускаются уже настроенные виртуальные среды как для разных вычислительных задач, так и для организации процесса обучения. Ключевые слова: GRID, облачные вычисления, виртуализация, кластер, Mesos, контейнеры, Docker, виртуальные среды обучения.
Zurab Gasitashvili, Zurab Modebadze, David Satseradze 1. Введение
Как известно существует дефицит специалистов способных обслуживать как уже существующие распределенные вычислительные системы (РВС), так и разрабатывать новые.
Основная проблема, с которой сталкиваются при освоении технологий распределённых вычислений — это проведение практических занятий. Учитывая ограниченные возможности бюджета ВУЗов, сравнительно высокую стоимость оборудования для создания соответствующей вычислительной инфраструктуры и/или доступные мощности электропитания-кондиционирования и их ежемесячной оплаты, становится понятным почему у ВУЗов не всегда есть возможность организовать соответствующий учебный процесс, во время которого каждому учащемуся можно будет выделить инфраструктуру, состоящую из нескольких вычислительных машин.
С целью подготовки соответствующих специалистов в рамках образовательной программы «Компьютерные Науки» в Грузинском Техническом Университете на базе «Лаборатории Искусственного Интеллекта и обработки Больших Данных» планируется создание многофункционального полигона с использованием методологии виртуализации. Предполагается его взаимодействие с Вычислительным Облаком Университета, созданного при активном участии Объединённого Института Ядерных Исследований для проведений совместных научных исследований. Кроме этого, в реализации полигона и в процессе обучения по программе «Компьютерные науки» будет учтен богатый опыт сотрудников ЛИТ ОИЯИ. 2. Учебный полигон
Полигон представляет собой шесть одинаковых рабочих станций с операционной системой CentOS 7, которые после соответствующего «апгрейда» и закупки сетевого оборудования будут объединены в отказоустойчивый кластер с помощью Apache Mesos.
Суть работы Apache Mesos сводится к объединению физических ресурсов нескольких
компьютеров (процессор, память, жесткие диски) в единый виртуальный пул, после чего
указанные ресурсы будут выделяться для выполнения конкретных задач используя методы
контейнеризации [
После развертывания кластера в роли его ядра будут выступать три управляющих компьютера (узла) т. н. Mesos Masters, а на оставшихся трех узлах (Mesos Slaves) будут выполняться различные задачи в соответствии с программами обучения. Согласно архитектуре Apache Mesos, узлы Masters являются ведущими, и они отвечают за предоставление ресурсов, распределения задач между действующими ведомыми узлами (Mesos Slaves). Взаимодействие между Ведущими (Masters) узлами осуществляет сервис (демон) ZooKeeper, который проводит выборы лидера. Количество трёх управляющих компьютеров (их может быть и больше, но оно должно быть нечетным) обусловлено необходимостью наличия кворума для голосования и обеспечением требования отказоустойчивости кластера. В случае выхода из строя действующего лидера, ZooKeeper проводит выборы и избирает нового лидера из двух оставшихся узлов. Общая архитектура и схема работы кластера показано на Функционирование кластера осуществляется по следующему алгоритму: 1. Служба ZooKeeper проводит выборы лидера. 2. Ведомые устройства (Mesos Slaves) публикуют доступные ресурсы для ведущих устройств (Mesos Master-ов). 3. Ведущие устройства (Mesos Masters) отправляет предложения о наличии ресурсов специальным приложениям (Фреймворкам). 4. Планировщик (Scheduler) выделяет соответствующие ресурсы, необходимые для каждой задачи(Task). 5. Ведущие узлы (Mesos Master-ы) отправляют задания ведомым устройствам. 3. Механизм контейнеров множества Docker хостов в один виртуальный хост служит Docker Swarm – средство развертывания кластера Docker, который можно использовать для быстрого развертывания кластера хостов как на локальном компьютере, так и на поддерживаемых облачных платформах. Для этого Docker Swarm предоставляет REST API интерфейс, совместимый с Docker API.
Метод создания информационных систем из множества контейнеров, каждый из которых отвечает только за одну определенную задачу, а «общение» осуществляется через сетевые порты и общие каталоги называется оркестрацией.
Для учебного полигона выбор Apache Mesos в качестве оркестратора вместо Docker Swarm-а обусловлено необходимостью запускать большее количество контейнерных кластеров в процессе обучения. 4. Возможности полигона
Наличие полигона с использованием кластера и технологии контейнеризации с ее потенциалом позволят в разы повысить эффективность решения широкого спектра учебнометодических задач, и будет хорошей опорой в осуществлении научно-исследовательской деятельности.
Для проведения лабораторных и практических занятий к учебному полигону студенты будут подключаться по сети из компьютерных классов общего назначения согласно составленному расписанию и в соответствии со своей учебной программой и политикой доступа. Во время обучения студенты последовательно учатся: процессу создания и настройке кластера на базе Apache Mesos; организации Docker-хостов на которых будут создаваться, запускаться и настраиваться соответствующие Docker-контейнеры; работе с различными приложениями, которые запускаются в контейнерах; технологиям создания и настройки систем визуального мониторинга и контроля ресурсов полигона.
Полигон можно будет использовать как облачную платформу во время проведения лабораторных работ и практических занятий по предметам SCADA системы, Интернет Вещей, а также других IoT-решений таких как мобильные приложения, «умные» системы, «умный дом», «умное предприятие», «умный город» и т. д.
С помощью запущенных контейнерах можно изучать вопросы, связанные с компьютерным моделированием, экологией, изменением климата, медицины, физики. Кроме этого можно исследовать искусственные нейронные сети и проводить машинное обучение и т.д. Одним словом, круг изучаемых вопросов и спектр возможностей полигона довольно обширен.
Интерес вызывает возможность взаимодействия полигона с Вычислительным Облаком университета, работающего на платформе Open Nebula. Для этого будет создан отдельный контейнер, который предоставит определенную часть свободного дискового пространства полигона для хранения резервных копий виртуальных машин. 5. Заключение
Предложенный в статье подход построения учебного полигона соответствует как современным тенденциям развития IT индустрии, так и учебным планам. В связи с неизбежным ростом доли дистанционного образования в системе обучения студентов, наличие такого полигона повышает удобство и качество образования, подымает престиж университета и является неплохой базой для подготовки/переподготовки действующих IT-специалистов начального звена.