Смешанное обучение: методика подготовки системных инженеров Вишнеков Андрей Владленович профессор, д.т.н., Национальный исследовательский университет «Высшая школа экономики» 123458, Москва, ул. Таллинская, д.34 avishnekov@hse.ru Иванова Елена Михайловна доцент, к.т.н., Национальный исследовательский университет «Высшая школа экономики» 123458, Москва, ул. Таллинская, д.34 emivanova@hse.ru Аннотация: Дается описание методики организации образо- вательного процесса в системе смешанного обучения при подготовке системных инженеров. С целью автоматизации процесса изучения дисциплин вводиться понятие командно- го файла, который задает сценарий изучения частей курса, изучаемых в режиме on-line и очном режимах. Показано, что командный файл должен разрабатываться с учетом особен- ностей образовательной траектории. Приводится описание методики выбора наиболее рациональной образовательной траектории для конкретной учебной группы на основе мето- дов поддержки принятия решений, позволяющих аккумули- ровать мнения преподавателей, экспертов и учащихся. Ключевые слова: смешанное обучение, образовательная траектория, подготовка системных инженеров, теория при- нятия решений. Blended learning: training methods of system engineers Andrey V. Vishnekov School of Computer Engineering, Moscow, NRU HSE 123458 avishnekov@hse.ru Elena M. Ivanova Publishing Dept. Moscow, NRU HSE 123458 emivanova@hse.ru Copyright © 2019 for this paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). 208 Abstract: The authors suggest the organization method of the educational process for system engineers training in blended learning. The concept of a command file, which sets the scenario of on-line and face-to-face course studying parts, is introduced in order to automate the discipline learning. The command file should be developed taking into account the features of the edu- cational trajectory. The paper describes the choosing methods of the most efficient educational trajectory for a specific training group based on the decision theory that can accumulate the opin- ions of teachers, experts and students. Keywords: blended learning, educational trajectory, system en- gineers training, decision theory. 1 Введение Важнейшим элементом развития цифровой экономики является внедрение системы цифрового образования [1] и подготовка квалифицированных кадров по направлению «Информатика и вычислительная техника» и в частности, подготовка системных инженеров. Одним из актуальных вопросов на современном этапе является внедрение сме- шанного обучения, основанного на одновременном использовании в учебном процессе технологий классического обучения с элементами on-line образования [2–4]. Смешанное обучение может стать одним из базовых подходов к подготовке системных инженеров. Системный инженер должен иметь междисциплинарные знания в технических дисциплинах и прежде всего знать основы си- стемного анализа и уметь проводить на практике системный анализ поставленной задачи. Объем знаний, которыми должен владеть системный инженер настолько велик, что для его освоения требуются специальные подходы и об- разовательные технологии. Выполнение каждого этапа методики системного анализа проблемы требует от систем- ного инженера не только междисциплинарных знаний, но и понимания их взаимосвязи. Дать одновременно описание способов решения задач и описание областей знаний, связанных с описанием кон- кретных задач в их взаимосвязи, для преподавателя крайне сложно в отведенное время. Поэтому требуется актив- ная самостоятельная работа студента, которую необходимо правильно организовать с методической точки зрения. Обеспечение необходимого качества образования основано на активном вовлечении студентов в образовательный процесс, решение вопросов организации обучения и самого процесса преподавания. Предлагаемая методика должна учитывать мнения учащихся в части предпочтительности используемых про- граммно-аппаратных средств и других вопросов, касающихся сценариев изучения дисциплины и используемых информационных ресурсов, что позволит учащимся легче адаптироваться к увеличению объема и сложности ма- териала и повысит качество обучения системных инженеров. Сейчас существуют различные подходы к решению задачи привлечения студентов к активной самостоятельной познавательной деятельности: смешанное обучение [2–4], внедрение собственных образовательных стандартов [5], объединение технологий smart-learning and e-learning [6, 7], само-оценивание и взаимное оценивание [8] и др. Соче- тание смешанного обучения с активным вовлечением учащихся в решение вопросов организации учебного процес- са в части организации классического и on-line обучения (в том числе, в решении вопросов разработки сценариев изучения дисциплин учебного плана) позволит повысить качество образовательного процесса. 2 Постановка задачи Если обратиться к должностной инструкции системного инженера, можно сделать вывод, что системный инженер должен знать [9]: нормативные материалы, методы разработки алгоритмов и программ, основные принципы струк- турного программирования, виды программного обеспечения, технико-эксплуатационные характеристики и прави- ла эксплуатации компьютеров, технологию автоматической обработки информации, виды технических носителей информации, методы классификации и кодирования информации, формализованные языки программирования, действующие стандарты, системы счислений, шифров и кодов, порядок оформления технической документации, передовой отечественный и зарубежный опыт программирования и использования вычислительной техники. Си- стемный инженер выполняет обязанности во многом схожие с обязанностями DevOps-инженера [10]. DevOps (development+operations) – это зародившаяся в 2009 году методология, нацеленная на взаимодействие программи- стов и системных администраторов для сокращения времени разработки и внедрения проекта на всех этапах жиз- ненного цикла. Рассмотрим работу системного инженера в компании ИТ-интеграторе, то есть в компании, которая занимается проектированием системных ИТ-решений для множества заказчиков. Системный инженер должен уметь разраба- 209 тывать и внедрять сложные, эффективные и безопасные компьютерные системы и понимать, как они работают на всех уровнях. Для нахождения правильного решения проблемы на уровне системы необходимо провести ее си- стемный анализ:  определить и задать/вычислить критерии эффективности системы;  оценить фактическое состояние системы;  поставить задачу, требующую решения в её взаимосвязи с другими процессами в системе;  оценить степень влияния способов и результатов решения поставленной задачи на другие характеристики и процессы системы;  структурировать проблему, выделить подзадачи;  выявить и оценить альтернативные способы решения задачи;  оценить их реализуемость;  найти наиболее рациональные способы решения задачи;  решить задачу на практике. Выполнение каждого из указанных этапов методики системного анализа проблемы требует от системного ин- женера междисциплинарных знаний и понимания их взаимосвязи. Необходимо владеть знаниями в следующих и смежных с ними направлениях:  системный анализ,  методы поддержки принятия решений,  аппаратное и программное обеспечение вычислительных систем и компьютерных сетей.  теория проектирования сложных систем,  методы оптимизации,  информационные системы и системы мониторинга информационной инфраструктуры предприятия.  моделирование,  теория информации,  алгоритмизация и разработка программного обеспечения.  системы автоматизированного проектирования.  современные технологии проектирования.  системы управления проектами,  защита информации.  системы электронного документооборота. Объем знаний, которыми должен владеть современный системный инженер, настолько велик, что для его освое- ния требуются специальные подходы и образовательные технологии. Основное это то, что системный инженер должен решать поставленную задачу в комплексе, учитывая множество факторов и ограничений на основе систем- ного подхода. Дать такой объем материала в стандартном учебном плане, включающем вышеуказанные дисциплины (в том числе и курс системного анализа) очень сложно. Тем более что задачи, решаемые системным инженером очень разнообразны, и каждая требует своего индивидуального подхода. Дать одновременно описание способов решения задач и описание областей знаний связанных с описанием конкретных задач в их взаимосвязи для преподавателя крайне сложно в отведенное время. Поэтому требуется активная самостоятельная работа студента в сочетании с очной работой в аудитории. Эта задача может быть решена на основе внедрения смешанного обучения. 3 Методика обучения системных инженеров Решение указанных проблем на основе внедрения технологии смешанного образования, подразумевающего соче- тание очного и on-line обучения, требует необходимости учета ряда факторов. В процессе очного обучения разра- батывается рабочая программа по дисциплине для понимания студентом сценария изучения дисциплины. Цифро- вое обучение диктует необходимость разработки аналогичного цифрового документа – электронной инструкции, в котором отражен ход и регламент изучения дисциплины, разработанного на основе рабочей программы. В настоя- щем исследовании предлагается оформить этот документ в виде «Командного файла», позволяющего автоматизи- ровать процесс описания последовательности, глубины, объёма изучения материала дисциплины и модифициро- вать сценарий изучения дисциплины в режиме реального времени. Каждый сценарий должен, в частности, учиты- вать: тип, объем используемых информационных ресурсов, темп изучения материала, особенности программно- аппаратных средств интерактивного взаимодействия студент-преподаватель, способы контроля знаний по разделам дисциплины (способ текущего и итогового контроля знаний, включая контроль времени выполнения текущих за- даний), число одновременно изучаемых дисциплин, особенности материала дисциплины изучаемого очно и on-line. То есть при разработке командного файла необходимо учесть особенности элементов образовательной траектории [11]. Неотъемлемой частью методики создания командного файла должна быть методика выбора эффективной об- разовательной траектории. Наиболее эффективная образовательная траектория может изменяться в зависимости от особенностей контингента обучающихся в конкретной группе и особенностей материала дисциплины. При разра- ботке образовательной траектории для конкретной группы учащихся необходимо учесть предпочтения студентов, преподавателей, администрации университета и найти обоснованный баланс между ними. Эта задача является сложной многокритериальной задачей принятия группового решения. Учет мнения учащихся в части предпочти- 210 тельности используемых программно-аппаратных средств и других вопросов организации учебного процесса поз- волит учащимся легче адаптироваться к увеличению объема и интенсивности самостоятельной работы. Авторы предполагают организацию обучения на базе единой информационной (цифровой) образовательной среды для всех преподаваемых дисциплин университета. Под образовательной средой понимаем совокупность средств (платформы, ресурсов, приложений и сценариев процесса обучения) [12]. Данная образовательная среда имеет следующую архитектуру (рисунок 1):  РЕСУРСЫ – Интернет-ресурсы, используемые преподавателем в процессе изучения дисциплин учебного плана.  БД (база данных информационных ресурсов университета) – совокупность информационных источников или ссылок на источники, использующиеся в качестве учебных материалов по каждой дисциплине, в том числе ссылки на on-line курсы, необходимые для изучения, авторские разработки преподавателей университета, не размещенных в свободном доступе, программные пакеты, цифровые иллюстративные материалы.  ПЛАТФОРМА – программная информационная образовательная среда университета, включающая взаимодей- ствующие корпоративные информационные, аналитические, управляющие, учетные и др. системы on-line под- держки учебного процесса университета. [12, 13]. Система управления учебным процессом – информационная система университета, позволяющая взаимодействовать студентам и преподавателю в процессе изучения текущей дисциплины. В частности, в НИУ ВШЭ используется LMS (Learning management system) [14]. LMS создает и обеспечивает доступ к страницам дисциплин учебных планов с при- крепленными к ним студентами. На каждой странице дисциплины преподаватель имеет возможность:  размещать объявления, учебные материалы и ссылки на РЕСУРСЫ или элементы БД;  осуществлять контроль знаний через тестирование;  вести журнал успеваемости и получать отчеты по учебной деятельности студентов;  собирать и хранить самостоятельные работы студентов (эссе, курсовые и дипломные работы, проекты и т.д.);  общаться и проводить консультации со студентами. Система управления связана с БД, из которой в нее импортируются все утвержденные по рабочим учебным планам дисциплины с назначенными для ее изучения студентами. Траектория обучения – набор образовательных элементов, доступных для организации обучения студен- та/учебной группы по текущей дисциплине. Под образовательной траекторией учебной группы рассматривается набор и последовательность применяемых способов, технологий и средств обучения с указанием степени предпо- чтительности различных видов их реализации. Цифровое обучение не отменяет очные или on-line консультации преподавателя дисциплины. Командный файл (сценарий или набор сценариев) – набор инструкций (правил) по изучению материала теку- щей дисциплины. Система управления учебным процессом РЕСУРСЫ Траектория обучения БД Командный файл ПЛАТФОРМА Рисунок 1 – Структура информационных потоков цифровой образовательной среды университета В цифровой образовательной среде будут взаимодействовать преподаватель, административные работники уни- верситета, студенты, представители отраслевых предприятий, заинтересованные в выпускниках университета. В этих условиях задачами преподавателей и менеджеров учебного процесса по созданию образовательной среды на основе системы командных файлов будут следующие. 211 Подбор информационных ресурсов (смешанное обучение).  подбор on-line курсов для самостоятельного изучения студентами  создание/подбор электронных учебников для самостоятельного изучения студентами  подбор мультимедиа ресурсов для самостоятельного изучения студентами  подбор Интернет-ресурсов по указанному направлению,  подбор печатных учебников и учебных пособий, справочной литературы,  подбор печатных и электронных материалов в периодических научных изданиях и в материалах научно- технических конференций.  селекция материала в базовую часть дисциплины  проектирование электронного курса лекций,  разработка лабораторного практикума (электронных методических указаний)  формирование вопросов текущего контроля изучения дисциплины: авторской части и самостоятельной рабо- ты (тестов).  формирование перечня вопросов итогового контроля изучения дисциплины (тестов). Формированию образовательной траектории  выбор элементов образовательной траектории  выбор критериев оценки важности каждого элемента образовательной траектории для университета, препода- вателя, текущей группы или студента,  выбор наиболее предпочтительной траектории для студента или студенческой группы. Создание средств обеспечения учебного процесса  Разработка видов текущего контроля по изучению дисциплины: авторской части и самостоятельной работы  Разработка тестов, контрольных работ, домашних заданий, проектов в рамках выбранной платформы Командный файл (по аналогии с командным batch-файлом операционной системы [15]) позволяет автоматизиро- вать процедуру формирования инструкции студенту по выполнению сценария освоения очередного блока дисци- плины. Каждая инструкция (команда) состоит из набора микрокоманд (МК), детализирующих сценарий изучения тем, разделов, параграфов дисциплины. Список микрокоманд задается преподавателем дисциплины и автоматиче- ски подключается для каждой инструкции (команды) Командного файла в виде словестного описания задания для выполнения, или ссылок на необходимые РЕСУРСЫ/записи БД, для выполнения данного задания (рисунок 2). По- следовательность команд определяет последовательность изучения материала дисциплины. Следующая микроко- манда, как правило, доступна только после завершения выполнения предыдущей микрокоманды. Для каждой ко- манды может устанавливаться временной интервал, после истечения которого выполнение команды может быть заблокировано системой управления (LMS) с генерацией соответствующего сообщения и отметкой о невыполне- нии задания в электронном журнале (алгоритм штрафования может быть различным). Рисунок 2 - Пример структуры Командного файла дисциплины учебного плана университета Ресурсы, указанные в различных Командных файлах дисциплин, могут повторяться. В Командном файле инте- грированы микрокоманды изучения материалов лекций, семинаров и выполнения практических заданий. При этом важным вопросом является синхронизация отдельных микрокоманд с графиком учебного процесса. Если в течение заданного интервала времени команда Х учащимся не выполнена (не сдан промежуточный тест), тема <название1> считается не сданной. Если команда успешно выполнена, то в электронный журнал выставляется оценка по резуль- татам тестирования. Такой подход позволяет алгоритмизировать процесс выполнения заданий и вести контроль образовательного процесса системой управления LMS. Важно, что введение подобной методики оказывает дисци- плинирующее и стимулирующее влияние на учащегося, что особенно важно в системе on-line обучения. 212 Командный файл может модифицироваться в зависимости от выбранной Траектории обучения для данной груп- пы учащихся или конкретного обучаемого. Так же могут модифицироваться список микрокоманд и набор инфор- мационных ресурсов в зависимости от выбранной траектории обучения с учетом появления новых знаний в пред- метной области. В отличии от Рабочей программы учебной дисциплины (РПУД), которая создается на учебный год, проходит экспертизу и утверждается заранее перед началом обучения, Командный файл можно оперативно изменять уже в процессе изучения дисциплины. Кроме того, РПУД не содержит алгоритма и сценариев обучения, а Командный файл позволяет автоматизировать процесс контроля знаний. Последовательность Командных файлов задает последовательность изучаемых дисциплин учебного плана. Разработка Командного файла базируется на решении задачи построения сбалансированной образовательной траектории, которая обеспечит более глубокое усвоение материала, при сокращении трудоёмкости изучения дис- циплины, затрат на образовательный процесс без снижения его качества при максимальном соблюдении требова- ний и внутренних правил университета. Последовательность построения образовательной траектории будет сле- дующая: формирование экспертной группы; определение членами экспертной группы элементов Траектории обу- чения, вариантов их реализации и критериев их оценки; ранжирования экспертами, преподавателем и студентами альтернативных вариантов реализации образовательных элементов по степени предпочтительности; формирование итоговой образовательной траектории (в равной мере предпочтительной для всех участников образовательного процесса) [11]. Участниками образовательного процесса (а также экспертными группами, принимающими решение) являются три стороны: администрация, преподаватель и студенты. Представители каждой из трёх сторон должны быть включены в экспертный совет по формированию Траектории обучения. Конечная задача – выстроить итоговую траектории обучения (Т*) максимально учитывающую мнение всех трёх сторон образовательного процесса. Отдельные элементы Траектории должны быть обязательно учтены в Командном файле, а именно: способ полу- чения материалов курса, темп подачи материала, предпочтительный способ восприятия материала со стороны обу- чаемого, виды практических занятий, способ организации текущего контроля знаний, технологии преподавания. Согласно сформированным критериям каждая экспертная группа формирует наиболее предпочтительную для себя Траекторию обучения: Т1 – с точки зрения администрации университета; Т2 – предложенная преподавателем (пре- подавателями) дисциплины; Т3 – построенная на основе данных опроса студентов. Этот опрос также может быть проведен посредством системы LMS. Набор критериев оценки предпочтительности Траекторий отличается для администрации университета, препо- давателя и студентов [7, 11, 16]. Для расчёта весов критериев можно применить процедуры, используемые в мето- дах поддержки групповых (для экспертов и для студентов) и индивидуальных решений (для преподавателя) [17], таких как: метод предпочтений [18], метод ранга [19] и метод анализа иерархий [20]. Согласно методу предпочте- ний расчет веса каждого i-го критерия производиться по формуле (1), согласно методу ранга – по формуле (2), со- гласно методу анализа иерархий – по формуле (3): ∑ , (1) ∑ ∑ где – число экспертов, – число критериев, сji – оценка i-го критерия, выставленная j-м экспертом (сji =1, 2… , где 1 – наилучшая оценка, – наихудшая оценка). То есть каждому эксперту предлагается выполнить ранжирование критериев по предпочтению и указать порядковый номер сji каждого критерия по степени важности. ∑ , (2) ∑ ∑ где сji – оценка i-го критерия, выставленная j-м экспертом (сji =1, 2… , – наилучшая оценка). ∏ , (3) ∑ ∏ где zij – сравнительная оценка критерия Кi по отношению к Kj, (i=1… , j=1… ), которые определяет преподава- тель. При выборе итоговой Траектории можно упростить задачу принятия решения и разбить ее на подзадачи – выбо- ра вариантов реализации каждого образовательного элемента отдельно. Тогда итоговая ценность каждого альтер- нативного варианта реализации вычисляется по формуле: ∑ ∑ , ∑ ∑ ∑ ∑ где n – число опрошенных студентов, k – число альтернативных вариантов реализации элемента, j=1…k, i=1…n, Cij – оценка j-го варианта, выставленная i-м экспертом. На основании данных о ценности вариантов можно составить соответствующую им ранжировку для всех эле- ментов траекторий Т1, Т2 и Т3 используя опросы студентов, администрации университета, преподавателей. Полу- чив оценки по критериям каждой из трёх сторон образовательного процесса, можно построить три множества {RТ1}, {RТ2}, {RТ3} ранжировок вариантов реализации каждого образовательного элемента экспертными группами. Для построения итоговой Траектории обучения предлагается использовать методы согласования групповых реше- ний [17], основанные на сравнении всех альтернативных ранжировок, в частности метод минимального расстояния 213 [21]. Расчет медианы Кемени-Снелла позволяет найти компромиссное решение с точки зрения удовлетворения всех мнений сторон в равной степени путём использования процедуры попарного сравнения альтернатив и получения итоговой ранжировки альтернатив. Метод заключается в вычислении новой ранжировки альтернатив R*, наиболее близкой ко всем вычисленным ранее ранжировкам {RТ1}, {RТ2}, {RТ3}. Для этого требуется cоставить три кососимметричных матрицы оценок YТ1÷YТ3 попарного сравнения альтернатив. Элементом Т матрицы Т является сравнительная оценка k-го экс- перта (студентов, администрации университета, преподавателей) альтернативы i по сравнению с альтернативой j («1» - лучше, «–1» - хуже, «0» - равнозначны). Требуется найти новую матрицу Y*, равноудалённую от всех трёх матриц (YТ1÷YТ3) так, чтобы сумма расстояний между матрицей Y* и YТ1÷YТ3 была минимальной. Расстояние меж- ду любыми двумя матрицами ( ∗ , Т ) вычисляется по формуле [21]: ∗ Т ∆( ∗ , Т ) ∑ ∑ , где r – количество оцениваемых альтернатив; i=1,…, r; j=1,…, r. Вычисление матрицы Y* (и соответствующей ранжировки R*) происходит методом перебора всех существую- щих кососимметричных матриц с нулевой главной диагональю. Такой перебор удобнее всего выполнить програм- мно. Согласно ранжировке R* формируется итоговая Траектория обучения T*. 4 Заключение Использование предлагаемой методики позволяет разработать сценарии изучения дисциплин учебного плана под- готовки системных инженеров на основе получения целостной характеристики траектории обучения, представля- ющей наиболее рациональную комбинацию вариантов реализации образовательных элементов с указанием их важности, обеспечивающих достижение заданных критериев качества обучения. Полученные рекомендации поз- волят сотрудникам, отвечающим за организацию учебного процесса, методистам и педагогам выстроить процесс обучения с учебной группой, обеспечивающий достижение заявленных целей обучения. Предложенная методика позволяет сократить время на принятие решения. Достоинством предлагаемой методи- ки является возможность автоматизации процессов разработки сценариев (Командных файлов) изучения дисци- плин на основе выбора образовательной траектории с учетом индивидуальных особенностей студентов, а также возможностей и требований университета. Кроме того, учёт мнения студентов по вопросам организации учебного процесса позволяет повысить их мотивацию к обучению. На основе результатов внедрения предложенной методики показано, что учет мнений учащихся в части предпо- чтительности используемых программно-аппаратных средств и других вопросов, касающихся сценариев изучения дисциплины и используемых информационных ресурсов, позволит учащимся легче адаптироваться к увеличению объема и сложности материала и повысит качество обучения системных инженеров. Список использованной литературы [1] Программа «Цифровая экономика Российской Федерации», 2017 [2] D. R. Garrison, N. D. Vaughan. Blended learning in higher education: Framework, principles, and guidelines. San Francisco, CA: Jossey-Bass, 2008. [3] P. Gómez-Rey, F. Fernández-Navarro, E. Barbera, M. Carbonero-Ruz. Understanding student evaluations of teach- ing in online learning, Assessment & Evaluation in Higher Education, 43 (8): 1272–1285, 2018. DOI: 10.1080/02602938.2018.1451483 [4] B. Waha, K. Davis. University students’ perspective on blended learning, Journal of Higher Education Policy and Management, 36 (2): 172–182, 2014. DOI: 10.1080/1360080X.2014.884677 [5] Е. Л. Кон, В. И. Фрейман, А. А. Южаков. Практический подход к формированию компетентностной модели выпускника технического университета. Университетское управление: практика и анализ. 2 (84): 52–58. 2013. [6] Глобальная стратегия развития Smart-общества. МЭСИ на пути к Smart-университету. http://smartmesi.blogspot.ru/2012/03/smart-smart.html (дата обращения: 22.06.2019) [7] Association of e-Learning specialists http://www.elearningnc.gov [8] Hains-Wesson Rachael. Peer and Self assessment. Deakin Learning Futures, Deakin University. pp. 1–18, 2013. http://www.deakin.edu.au/__data/assets/pdf_file/0020/53462/peer-and-self-assessment.pdf [9] Должностная инструкция системного инженера. help-hr.ru/files/instr_17.doc [10] DevOps-инженер: как обучиться одной из самых прибыльных профессий. https://brodude.ru/devops-inzhener- kak-obuchitsya-odnoj-iz-samyh-pribylnyh-professij/ [11] А. В. Вишнеков, Е. М. Иванова. Автоматизация выбора траектории обучения в среде Smart-образования. Информационные технологии. 22 (9): 684–691, 2016. [12] Д. С. Василина, Г. Ю. Нуриева, Д. М. Юланова. Информационно-образовательная среда современного вуза. Известия Волгоградского государственного педагогического университета. 2: 8-12, 2017. [13] Учетно-аналитическая система управления учебным (АСАВ) процессом НИУ ВШЭ. https://it.hse.ru/asav [14] Cистема управления учебным процессом НИУ ВШЭ https://www.hse.ru/studyspravka/lms 214 [15] What Is A Batch File In Windows? How To Create A Batch File? https://fossbytes.com/what-is-a-batch-file-in- windows-how-to-create-a-batch-file/ [16] Smart системы в сфере высшего образования. Современные научные исследования и инновации. http://web.snauka.ru/issues/2015/07/56409 (дата обращения: 25.06.2019). [17] О. И. Ларичев. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учеб- ник. Изд. 2-е, перераб. и доп. М.: Логос, 2002. [18] А. А. Лобанов. Метод предпочтений как инструмент поддержки принятия решений. // Перспективы науки и образования, 2(14): 36-43, 2015. [19] D. Bouyssou. Outranking methods, volume 1. Springer US, 2nd edition. 2008. [20] T. Saati Decision making. Hierarchy analysis method. M: «Radio and Communication», 1999. [21] Дж. Кемени, Дж. Снелл. Кибернетическое моделирование: Пер. с англ. – М.: Советское радио, 1972 References [1] Program "Digital economy of the Russian Federation", 2017 [2] D. R. Garrison, N. D. Vaughan. Blended learning in higher education: Framework, principles, and guidelines. San Francisco, CA: Jossey-Bass, 2008. [3] P. Gómez-Rey, F. Fernández-Navarro, E. Barbera, M. Carbonero-Ruz. Understanding student evaluations of teach- ing in online learning, Assessment & Evaluation in Higher Education, 43 (8): 1272–1285, 2018. DOI: 10.1080/02602938.2018.1451483 [4] B. Waha, K. Davis. University students’ perspective on blended learning, Journal of Higher Education Policy and Management, 36 (2): 172–182, 2014. DOI: 10.1080/1360080X.2014.884677 [5] E. L. Kon, V. I. Freyman, A. A. Yuzhakov. Practical approach to the formation of the competence model for a tech- nical university graduate // Universitetskoe upravlenie: praktika i analiz. 2 (84): 52–58. 2013. [6] N. V. Tikhomirova. Global Smart Society Development Strategy. MESI na puti k Smart-universitetu http://smartmesi.blogspot.ru/2012/03/smart-smart.html (retrieved 07.12.2018) [7] Association of e-Learning specialists http://www.elearningnc.gov [8] R. Hains-Wesson. Peer and Self assessment. Deakin Learning Futures, Deakin University. pp. 1–18, retrieved May 28, 2013. http://www.deakin.edu.au/__data/assets/pdf_file/0020/53462/peer-and-self-assessment.pdf [9] Job description of the system engineer. help-hr.ru/files/instr_17.doc (in Russian) [10] DevOps engineer: how to learn one of the most profitable professions. https://brodude.ru/devops-inzhener-kak- obuchitsya-odnoj-iz-samyh-pribylnyh-professij/ (in Russian) [11] A. V. Vishnekov, E. M. Ivanova. Automation of the choice of learning paths in the environment of Smart-education. Information technology.22 (9): 684–691, 2016. (in Russian) [12] D. S. Vasilina, G. Yu. Nureyev, D. M. Ulanova. Information and educational environment of the modern University. News of Volgograd state pedagogical University. 2: 8-12, 2017. (in Russian) [13] Analytical system of educational process management NRU HSE. https://it.hse.ru/asav [14] Learning management system NRU HSE https://www.hse.ru/studyspravka/lms [15] What Is A Batch File In Windows? How To Create A Batch File? https://fossbytes.com/what-is-a-batch-file-in- windows-how-to-create-a-batch-file/ [16] Smart systems in higher education. http://web.snauka.ru/en/issues/2015/07/56409 [17] O. I. Larichev. Theory and methods of decision-making, as well as Chronicle of events in Magical countries: Text- book. Ed. 2nd, pererab. I DOP. - M.: Logos, 2002. (in Russian) [18] A. A. Lobanov Metod predpochtenij kak instrument podderzhki prinyatiya reshenij / A.A. Lobanov // Perspektivy nauki i ob-razovaniya. -2015. -N2(14). -P. 36-43. (in Russian) [19] D. Bouyssou. Outranking methods, volume 1. Springer US, 2nd edition. 2008. [20] T. Saati. Decision making. Hierarchy analysis method. M: «Radio and Communication», 1999. [21] J. Kemeny, J. Snell. Cybernetic modeling. New York: Some Applications. 1972 215