=Paper=
{{Paper
|id=Vol-1752/paper11
|storemode=property
|title=
Применение нечётких когнитивных карт для моделирования поведения пользователей системы дистанционного обучения
(Application of Fuzzy Cognitive Maps in Simulation of the LMS Users Behavior)
|pdfUrl=https://ceur-ws.org/Vol-1752/paper11.pdf
|volume=Vol-1752
|authors=Vasiliy Kireev
|dblpUrl=https://dblp.org/rec/conf/rcdl/Kireev16
}}
==
Применение нечётких когнитивных карт для моделирования поведения пользователей системы дистанционного обучения
(Application of Fuzzy Cognitive Maps in Simulation of the LMS Users Behavior)
==
https://ceur-ws.org/Vol-1752/paper11.pdf
Применение нечётких когнитивных карт
для моделирования поведения пользователей
системы дистанционного обучения
В.С. Киреев
Национальный исследовательский ядерный университет «МИФИ»,
Москва, Российская Федерация
vskireev@mephi.ru
Аннотация корпоративными решениями, так и решениями с
открытым кодом. Среди последних, наибольшей
Оптимизация систем дистанционного обучения популярностью пользуется система Moodle, которая
(LMS) является одной из актуальных задач в применяется во многих учебных заведениях в
условиях роста объёмов представляемого в них качестве фреймворка для собственных программных
контента и увеличения количества слушателей решений. Дистанционное образование в последние
дистанционных курсов. Оптимизация в большинстве годы характеризуется накоплением большого объёма
случаев основывается на анализе данных логов LMS данных и востребованностью для его обработки
и выявлении паттернов поведения пользователей по методов интеллектуального анализа (E-learning data
отношению к контенту. Данная статья посвящена mining), поэтому проблема повышения
описанию подхода к моделированию эффективности обучения слушателей, за счёт
пользовательского поведения в системе оптимизации обучающего контента, является крайне
дистанционного обучения на основе подхода, актуальной.
включающего нечёткие когнитивные карты (FCM).
Предлагаемая модель описывает взаимодействие 2 Современные подходы к решению
пользователей с контентом в системе и может быть
использована для прогнозирования реакции проблемы
пользователей на обучающие, контрольные и Большинство подходов к оптимизации контента
практические элементы. Полученная когнитивная интернет-ресурсов вообще и систем дистанционного
карта протестирована и уточнена с помощью данных образования в частности, заключается в выявлении
системы ИНФОМИФИСТ, использующейся на ряде паттернов поведения пользователей на основе
факультетов НИЯУ МИФИ для поддержки учебного анализа их действий в системе (Web Mining) [2,3].
процесса уже более 9 лет. Данный анализ, в основном, производится с
использованием методов кластеризации и
1 Введение классификации. Кроме того, используются методы
В настоящее время дистанционное образование поиска ассоциативных правил, секвенциальный
(e-learning) вызывает повышенный интерес как в анализ и текстовый (контент) анализ (см. Рис. 1).
корпоративном секторе, с массовым внедрением
концепции корпоративного университета, так и
среди классических образовательных учреждений
[4]. Также следует отметить платформы,
посвящённые обучению как таковому и
поддерживающие концепцию МООК, например,
Coursera, EdX и т.д. Данная парадигма позволяет
повысить эффективность процесса обучения,
снизить организационные и производственные
издержки, автоматизировать процесс передачи Рисунок 1 Актуальные направления
знаний и получить дополнительный источник интеллектуального анализа интернет-ресурсов
информации о качестве получаемого слушателями
образования и их поведении. Системы Кроме этого в последние годы развивается
дистанционного образования представлены как направление когнитивной визуализации [10],
позволяющей описывать учебную траекторию
Труды XVIII Международной конференции слушателя по имеющимся логам LMS.
DAMDID/RCDL’2016 «Аналитика и управление Перечисленные методы позволяют выявить
данными в областях с интенсивным локальные особенности поведения пользователей,
использованием данных», Ершово, 11-14 октября однако, возможность обобщения полученных
2016 результатов на процесс взаимодействия с LMS в
65
целом, возникает достаточно редко [5]. Таким формализации на различных этапах поиска решений
образом, для выявления слабых мест в слабоструктурированных проблемных областях,
представленного в системе контента возникает особенно в социальной и экономической сфере. На
необходимость проведения повторных основе когнитивных карт разрабатываются методики
исследований, в большинстве случаев достаточно генерации и верификации карт, поддерживающие
трудоёмких. Создатель курса в силу различных этап формирования общего представления знаний о
причин не всегда имеет возможность реализовать ситуации. На данном этапе разработка когнитивных
данный вариант, и присутствующие в системе карт направлена на визуальное представление
данные оказываются невостребованными. Таким проблемы [11,12] для объяснения действий субъекта,
образом, выявление требований к контенту на опираясь на анализ его точки зрения. В этом случае
фундаментальной основе является необходимым и адекватность карты подтверждается самим
обоснованным. Эти требования должны субъектом. Одним из актуальных направлений
закладываться на первом этапе, при разработке курса развития когнитивных карт являются фреймовые
для создания более совершенного контента. С этой когнитивные карты [9].
целью предлагается разработать обобщённую
модель, которая позволит определить оптимальные 4 Предлагаемый подход
количественно-качественные формы обучающего
контента. В качестве модели взаимодействия пользователя
с системой LMS предлагается нечёткая когнитивная
карта, описывающая воздействие на эффективность
3 Нечёткие когнитивные карты
освоения (ИК) слушателем курса набора концептов,
Когнитивные карты являются одним из характеризующих контент как с дидактической, так
инструментов представления слабо формализуемых и системной точек зрения. В частности, изучаемый
предметных областей, в особенности в экономике, курс представляет собой совокупность модулей
политической и военной сферах. Данный подход был (МК), результативность освоения которых влияет на
предложен Аксельродом в работе 1976 года, концепт ИК. Отдельный модуль представляется
посвящённой моделированию политической сферы совокупностью статического и интерактивного
[7]. Когнитивная карта представляет собой знаковый контента. Статический обучающий контент (ОК)
ориентированный граф, в котором вершинами включает в себя конспекты и презентации лекций,
представляются сущности, концепции, факторы, вспомогательные методические материалы и т.д.
цели и события, а дугами задаётся их влияние друг Интерактивный контент включает в себя чистый
на друга. Влияние или воздействие характеризуется контролирующий компонент, такой как тесты (ТК),
некоторой пороговой функцией, которая может и обучающий практико-ориентированный
определяться различными способами. Функция компонент (ПК), такой как лабораторные работы и
получается на основании экспертной оценки, тренажёры, выполняемые в системе (например,
которая первоначально задаётся в лингвистической SCORM-пакеты).
форме. Впоследствии Кошко [1] предложил Среди других сущностей можно отметить:
расширение данной парадигмы за счёт введения Взаимодействие с системой (ВС), Количество входов
нечёткости, что в большей степени отражает разброс (КВ), Проведённое в системе время (ПВ), Качество
мнений экспертов при оценке воздействия одних обратной связи (КО), Количество новых тем,
факторов на другие. В качестве нечётких чисел чаще созданных пользователем (КН), Количество
всего используются треугольные числа. сообщений, оставленных пользователем (КС),
В целом, задача определения состояния вершин Успешность освоения текущего курса (К1),
(концептов) когнитивной карты сводится к расчётам Успешность освоения других курсов (КN),
в соответствии с формулой (см. формулу 1): Результаты других слушателей (РС), Итоговая
N оценка за курс (ОИ), Траектория обращения
Ai k 1 f Ai (k ) A j k W ji , (1) пользователя к модулям, и контенту внутри них,
соответствующая естественной последовательности
j i , j 1 освоения курса (ПО), Успешность освоения модуля
где Ai(k+1) – новое состояние вершины, Ai(k) – курса (МК), Рекомендуемые источники (РИ),
предыдущее состояние, Wji – матрица весов, f – Обучающий контент (ОК), Практико-
пороговая функция. ориентированный компонент (ПК), Контрольный
Процесс расчёта является итеративным - после компонент (ТК), Количество материалов,
задания начальных состояний вершин значения Количество тестов (КТ), Количество попыток
состояний пересчитываются до тех пор, пока разница прохождения теста (КП), Оценка за тест (ОТ), Время
между текущими и предшествующими состояниями проведённое в тесте (ВТ) (см. Рис. 2).
не окажется меньше некоторого заданного значения Путём опроса 5 экспертов – разработчиков
ε. дистанционных курсов были определены веса дуг,
На сегодняшний день в процессе управления для этого использовались однотипные
сложными системами часто используются лингвистические шкалы, рассчитанные по 5-
когнитивные карты [6] разной степени балльной шкале, где 1 балл означает низкий уровень
66
влияния, а 5- максимально высокий. Далее оценки двумя различными способами [8]: 1) проверкой
экспертов были согласованы с помощью метода полученных значений в вершинах или модели в
Саати и осуществлена их фаззификация. В качестве целом с помощью альтернативных подходов и
пороговой функции для состояний концептов методов – математико-статистических, таких как
использовалась функция единичного скачка (см. метод Монте-Карло, или приёмами имитационного
формулу 2): моделирования и т.д.; 2) проверкой вывода каждой
1, x 0 дуги на реальных исторических данных.
f x , (2) Построенная модель была протестирована на
0, x 0 реальных данных, полученных из системы
Предложенная модель была протестирована с ИНФОМИФИСТ (см. Рис. 4), используемой для
помощью свободно распространяемого приложения поддержки учебного процесса в НИЯУ МИФИ с
Fcmapper на нескольких сценариях, зависящих от 2007 года на факультете Экономики и Управления,
сложности практико-ориентированного, факультете Кибернетики и Информационной
самостоятельного и контрольного компонентов, и безопасности, а с 2015 года в Бизнес школе. За это
количества соответствующих элементов, для поиска время в системе было размещено более 100
равновесного состояния (см. Рис. 3). различных курсов, обучение которым прошли около
15 тысяч слушателей. ИНФОМИФИСТ разработан
на основе системы дистанционного обучения с
открытым кодом Moodle, которая позволяет
управлять контентом, пользователями и
осуществлять мониторинг их действий. Таким
образом, был накоплен большой объём информации
о поведении пользователей, который был
проанализирован с целью уточнения параметров
разработанной когнитивной карты. Журнал событий
системы содержит более 3 миллионов записей.
Рисунок 2 Когнитивная карта взаимодействия
пользователей с системой дистанционного
образования
1,100000
ИО
1,000000
ИК
0,900000
ОЗ
0,800000
МК
0,700000
ПК
0,600000 Рисунок 4 Главная страница системы
ОК
0,500000 ИНФОМИФИСТ
ОТ
1 4 7 10 13 16 19
Для проведения анализа были использованы
Рисунок 3 Пример результатов использования данные системы, соответствующие учебному плану
сценария с «лёгким» уровнем сложности магистерского направления подготовки 38.04.01
компонентов курса «Экономика». С помощью корреляционно-
регрессионного подхода были проведены оценки
На графике представлены основные концепты, зависимости ряда предложенных в модели
включая эффективность освоения курса (ИК), и сущностей, таких как индикаторные элементы
можно видеть, что в условиях «низкой» сложности (оценки за практический компонент и другие
значение концепта ИК достигает вполне приемлемой оценки) от сущностей второго порядка – количество
величины – 0,8. Индикаторные показатели – оценки лабораторных работ в SCORM (КЗ), количество
за компоненты курса также укладываются в сделанных попыток (КП), общее затраченное время
нормативные значения, в том числе по системе (ВЗ) и т.д. (см. формулу 3):
ECTS. Y i ОТ F ( X i СП , X i КП , X i КЗ , X i ВЗ ) i (3)
В качестве модельной функции регрессии была
5 Тестирование предлагаемой модели
использована квадратичная функция. В качестве
Верификация когнитивных карт представляет исходных данных по каждому компоненту была
собой нетривиальную задачу и чаще всего решается взята агрегация показателей по каждому слушателю.
67
Например, по практическому компоненту: сумма [3] E. Garcia, C. Romero, S. Ventura, S., & C. de
оценок за все SCORM работы, сумма минут, Castro. (2011). A collaborative educational
потраченных на все задания, сумма количества association rule mining tool. Internet and Higher
попыток на каждое задание, количество всех Education, 14(2), 77-88.
заданий.
[4] E-Learning Market Trends & Forecast 2014 – 2016
URL:
График остатков https://www.docebo.com/landing/contactform/elear
ning-market-trends-and-forecast-2014-2016-
60 docebo-report.pdf (дата обращения: 15.05.2016).
40 [5] Kavita D. Satokar, Prof..S.z.Gawali, “Web Search
20 Result Personalization using Web Mining”,
0 International Journal of Computer Applications
Остатки
(0975 - 8887), Volume 2 - No.5, June 2010.
360
360
360
360
300
360
360
360
180
360
240
‐20
‐40 [6] O.D. Ntarlas, P. P Groumpos. A survey on
‐60 Applications of fuzzy cognitive maps in business
‐80 and management // Вестник УГАТУ = Vestnik
UGATU. 2014. №5. URL:
‐100 http://cyberleninka.ru/article/n/a-survey-on-
Xвз
applications-of-fuzzy-cognitive-maps-in-business-
and-management (дата обращения: 15.05.2016).
Рисунок 5 Результаты корреляционно-
регрессионного анализа на пример курса [7] R. Axelrod, Structure of Decision, The Cognitive
«Маркетинг инноваций» Maps of Political Elite, Princeton University Press,
1976.
Полученные результаты (см. на Рис. 5)
свидетельствуют о соответствии в целом оцененных [8] А. A. Кулинич, Компьютерные системы
экспертами весов дуг модели и построенной моделирования когнитивных карт: подходы и
регрессии. Однако ряд значений весов требуется методы, Проблемы управления, 2010, № 3, 2–16.
пересмотреть, например, воздействие проведённого [9] А.А. Кулинич Семиотические когнитивные
времени в тесте. Кроме этого, для повышения карты (фреймовая модель) / Труды XII
точности работы модели планируется выделить Всероссийского совещания по проблема
дополнительные сущности и факторы, управления (ВСПУ-2014, Москва). М.: Ипу РАН,
представляющие компоненты курса более точно, в 2014. С. 4152-4164.
том числе по обучающему контенту. [10] В.А. Углев, Т.М. Ковалева Когнитивная
визуализация как инструмент сопровождения
6 Заключение индивидуального обучения // Наука и
образование: научное издание МГТУ им. Н.Э.
Когнитивные карты позволяют моделировать
Баумана. 2014. №3. URL:
слабо формализованные предметные области для
http://cyberleninka.ru/article/n/kognitivnaya-
повышения качества прогнозов, создания
vizualizatsiya-kak-instrument-soprovozhdeniya-
возможных сценариев развития ситуации. В данной
individualnogo-obucheniya (дата обращения:
статье обсуждается возможность использования
15.05.2016).
нечётких когнитивных карт в качестве основы
модели поведения пользователей в процессе [11] В.П. Карелин Модели и методы представления
дистанционного обучения с помощью LMS. знаний и выработки решений в
Планируются дальнейшие исследования с целью интеллектуальных информационных системах c
уточнения параметров построенной когнитивной нечёткой логикой // Вестник ТИУиЭ. 2014. №1
карты в части нечётких функций, описывающих (19). URL: http://cyberleninka.ru/article/n/modeli-i-
взаимное влияние сущностей карты, а также весовых metody-predstavleniya-znaniy-i-vyrabotki-
значений дуг. resheniy-v-intellektualnyh-informatsionnyh-
sistemah-c-nechyotkoy-logikoy (дата обращения:
Литература 15.05.2016).
[12] Л.А. Гинис Развитие инструментария
[1] B. Kosko, Fuzzy Cognitive Maps, Int. J. of Man- когнитивного моделирования для исследования
Machine Studies, 24, 1986, p. 65-75. сложных систем // ИВД. 2013. №3 (26). URL:
[2] C. Romero, S. Ventura, & E. Garcia. (2008). Data http://cyberleninka.ru/article/n/razvitie-
mining in course management systems: Moodle case instrumentariya-kognitivnogo-modelirovaniya-
study and tutorial. Computers & Education, 51(1), dlya-issledovaniya-slozhnyh-sistem (дата
368-384. обращения: 18.05.2016).
68
Application of fuzzy cognitive maps This article describes the approach to modeling user
in simulation of the LMS users’ behavior behavior for systems of distance learning-based approach
involving fuzzy cognitive maps (FCM). The proposed
Vasiliy S. Kireev model describes the user interaction with the content in
Optimization of learning management systems the system and can be used to predict how users react to
(LMS) is one of the urgent tasks in the face of rising the training, control and practical elements. The resulting
volumes of content represented in them t and increasing cognitive map is tested and refined using data system
the number of listeners of online courses. Optimization INFOMEPHIST applied in a number of faculties of the
in most cases is based on the analysis of LMS log data, MEPhI to support the educational process for more than
to identify patterns of user behavior relative to content. 9 years.
69