Natalia Datsun

Abstract

В статье обсуждается значимость форумов массовых открытых онлайн курсов в организации взаимодействия. Анализируются полнотекстовые научные публикации 2012-2016 гг. Рассматривается роль форумов в рабочем пространстве обучающихся и инструктора курса. Массовый открытый онлайн курс; форум; взаимодействие; инструктор, типология. In the article the importance of massive open online course forums in the organization of interaction is discussed. The full-text scientific publications of 2012-2016 analyzed. The role of forums in the workspace of students and the instructor of the course is considered. Massive open online course; forum; interaction; instructor, typology.

-

рамках MOOC [ 26 ], устоичивого строительства совместных знании в социальном контексте [ 14, 24 ]; – место формирования эмерджентного знания [ 6 ]; – инструмент повышения вовлеченности в курс, потенциальныи помощник в улучшении их успеваемости и успешном завершении MOOC [ 2, 11, 14 ];

– стимулятор критического мышления при совместнои работе в "процессе эволюции и развития" с целью углубления понимания темы [ 6 ];

– средство формирования чувства общности и взаимодеиствия, подобное чувству при обучении "лицом к лицу" [ 6 ];

– пространство для формирования профессиональных и коммуникационных компетенции [1].

В рабочем пространстве инструктора дискуссионныи форум выполняет такие функции: – доска обмена информациеи между инструктором и обучающимся или обучающимися [ 14 ]; – интегратор информации для мониторинга прогресса курса; – инструмент поощрения дискуссии [ 6 ]; – питомник для поиска и взращивания потенциальных учебных ассистентов (Teaching Assistant, TAs).

Однако использование дискуссионных форумов в MOOCs всегда следует рассматривать дифференцированно. С однои стороны, далеко не все курсы учитывают участие в форумах в итоговои оценке и итоговом сертификате (Statement of Accomplishment, SoA). С другои стороны, лишь малая часть всех участников в MOOC используют форум для общения[ 4, 11, 18 ]. Кроме этого считается, что дискуссии форумов не всегда хорошо организованы. Так, ветки для различных целеи соседствуют (например, связанные с содержанием и общими вопросами), а и информативные метки отсутствуют. Как следствие, это затрудняет для участников форума поиск целевои информации [ 26 ]. eLibrary 0 0 0 0 Всего: 25 13 4 9 Список наиденных публикации был отсортирован в лексикографическом порядке, затем из него были удалены работы-дубликаты. В результате списке осталось 13 работ (табл. 1).

Далее для каждои публикации был выполнен поиск в Интернет полного текста работы. Полнотекстовые версии шести публикации доступны в свободном доступе. Тексты трех работ ([ 9, 14, 23 ]) были получены через сеть ResearchGate (https://www.researchgate.net). Нет доступа к тексту двух работ, и их авторы не ответили на запрос по e-mail. Еще одна публикация объемом 2 страницы была исключена из итогового списка. Таким образом, был получен корпус полных текстов девяти научных публикации по тематике дискуссионных форумов в MOOC [ 6, 9, 12, 14, 15, 23, 26, 28, 31 ].

На следующем этапе был применен метод "снежного кома" ("snowball") к спискам цитирования из полученного корпуса публикации. Таким образом были дополнительно отобраны работы, удовлетворяющие поисковои строке, или процитированные в нескольких публикациях. В итоге корпус публикации был расширен до 25 работ [ 2, 4-7, 9-18, 20-22, 23-28, 30- ].

Как и для исходного корпуса, для каждои дополнительно отобраннои публикации был выполнен поиск в Интернет полного текста работы. В итоговом списке публикации содержатся только работы с открытым доступом к полнотекстовои версии, а в списке литературы у них указан URL.

Количественный анализ корпуса публикаций. Распределение публикации по годам и каналам публикации представлено в табл. 2. Больше всего работ за период 2012-2016 гг. опубликовано в 2015 г. Наиболее широко публикации по тематике нашего исследования представлены в трудах конференции L@S .

Таблица 2. Количество публикаций по годам, журналам и конференциям 2016 г. 1 Всего: 5 2 20 Журналы Конференции Названия конференции 2012 г. 0 0 2013 г. 1 4 LAK '13 (2), NIPS WDDE, TEEM '13 2014 г. 0 4 L@S '14 (2), EMOOCs '14, WWW '14 2015 г. 3 10 L@S '15 (2), AIED '15, ASIST '15, ICIS '15, Calling '15, LAK '15, SBP '15, TEEM '15, VL/HCC '15

LAK '16, ICYCSEE '16 Качественный анализ корпуса публикаций. В некоторых публикациях указаны названия курсов, с обучающимися которых были проведены эмпирические исследования или данные которых были использованы в учебнои аналитике. Эта информация представлена в табл. 3. 71 курсов платформы Coursera было исследовано.

Таблица 3. Информация о MOOC, исследованных в публикациях Название MOOC

Ссылка на публикацию №№ 1

MITx Introduction to Computer Science and Programming [ 31 ] Using Python MITx 7.00 x: Introduction to Biology [ 26 ] MITx 6.002x Circuits & Electronics [ 4 ] MITx 6.002x Circuits & Electronics [ 5 ] 8.MReV Mechanics ReView [ 5 ] N/A [ 15 ] Introduction to Corporate Finance [ 14 ] Introduction to Art: Concepts & Techniques [ 27 ] 61 завершенныи курс [ 6 ] Model Thinking [ 10 ] Human Physiology [ 11 ] AI Planning, Astrobiology, Critical Thinking, Education & [ 30 ] Digital Culture, Equine Nutrition, Introduction to Philosophy N/A [ 21 ]

Глоссарий. Онлаин форум (дискуссионныи форум (discussion forum), доскa обсуждении (discussion board), группа обсуждения (discussion group), доска объявлении (message board), интернет–форум (online forum) для курса MOOC является Интернет–технологиеи, которая допускает обучающимся отправлять сообщения, отвечать на сообщения, просматривать сообщения, ранжировать сообщения, а также видеть ответы на сообщения. Как правило, сообщения и ответы организованы в потоках.

Форум состоит из трех типов иерархических взаимодеиствии, которыми являются: Поток (ветвь, нить) создается для инициирования нового обсуждения. Пост является сообщением для ответа в потоке. Комментарий является сообщением, используемым для ответа на сообщение [ 28 ]. Одна из возможных таксономии деиствии диалога в форуме MOOC приведена в табл. 4 [ 26 ]. Таблица 4. Классы действия диалога Категория Вопрос Разрешение Репродукция Подкатегория Вопрос–вопрос Вопрос–добавление Вопрос –коррекция Вопрос– подтверждение Разрешение Репродукция Категория Ответ Другое Подкатегория Ответ–ответ Ответ– добавление Ответ подтверждение Ответ –коррекция Ответ –возражение Другое – Цели мониторинга курса и ресурсы, используемые для его контроля. Одна из функции в рабочем пространстве инструктора MOOC в фазе эксплуатации этого курса состоит в мониторинге последнего. В работе [ 25 ] описаны цели такого мониторинга: проблемы, связанные с текущим заданием; борющиеся студенты и то, с чем они борются; трудность задачи экзамена; целесообразность уровня сложности курса для студентов; наиболее интересныи контент для студентов; самые трудные части курса; эффективность учебных ассистентов; как улучшить представление темы; контент, считающиися студентами наименее интересным.

Для того, чтобы реализовать мониторинг курса, необходимо указать ресурсы, потенциально используемые для контроля курса (табл. 5). Одним из основных ресурсов является форум.

Таблица 5. Ресурсы MOOC, используемые для контроля курса [ 25 ] ID F CS SD TA AG

Описание ресурса Форум Обследование Класса Обсуждение со студентами Просьба учебных ассистентов Оценка задании

ID PAn VP Пат ССК CL

Описание ресурса Ответы студента на задачи Студенческии вид шаблона контента Количество раз студенческих попыток задачи Оценки для вопросов самодиагностики Журналы чата онлаинового Виды деятельности обучающихся MOOC и затраты времени на работу в форуме. Доля форумов в интерактивном взаимодействии. Поскольку MOOC платформы предоставляют полные журналы деятельности в рабочем пространстве обучающегося, то для каждого студента потенциально возможно выяснить, какие его виды деятельности являются наиболее полезными для изучения [ 5 ].

Время представляет собои функцию основнои стоимости для студентов. Поэтому важно изучить, как студенты распределяют свое время на протяжении всего курса [ 4 ]. Оценка времени, потраченного на различные ресурсы/элементы каждым обучающимся, включает в себя измерение длительности между началом взаимодеиствия студента с ресурсом/элементом курса и временем, когда он покинет этот объект. В частных случаях одновременного использования нескольких элементов курса при взаимодеиствии с форумом возможны различные подходы учета времени. Один из них основан на том, что накапливаемое время связано с отображаемым в данныи момент ресурсом. Если студент ссылается на "Книгу" во время работы в форуме, то эта продолжительность накапливается во времени "Книги", и только прямые взаимодеиствия с форумом регистрируются при использовании элемента "форум".

Рассмотрим данные, собранные в эмпирическом исследовании двух MOOCs платформы edX (http://edx.org/), размещенных Массачусетским технологически институтом (MIT). Это курсы “6.002x Circuits & Electronics” ("Цепи и Электроника", далее "6.002x") [ 5 ], [ 4 ] и “8.MReV Mechanics ReView” ("Обозрение Механики", далее "8.MReV") [ 5 ]. Мы объединили данные в виде таблицы 6. Видео лекция Задачи лекции Домашнее задание Лабораторные эксперименты Book (6.002x) / eText (8.MReV) Учебное пособие Обсуждение (дискуссия) Вопросы контрольных точек Задачи Вопросы пре- и пост тестов Таблица 6. Распределение времени среди различных ресурсов

% (n = 1080) Участие обучающихся в форумах MOOC представляет собои учебную деятельность. Поэтому она может быть учтена и проанализирована в модели деятельности обучающегося. Авторы работы [ 16 ] предложили модель учебнои деятельности, основанную на трех укрупненных категориях: живость, изучение и отношения:

– фактор живости используется для определения того, насколько часто пользователь регулярно посещает систему и производит активное участие. Уровень активности обучающегося в MOOC может быть мерои для оценки удобства использования системы, а также элементом для проверки онлаин-активности обучающегося;

– фактор изучения предназначен для определения того, насколько часто пользователь использовал платформу MOOC для обучения. Уровень учебнои деятельности обучающегося в MOOC является элементом для проверки приверженности и мотивации;

– фактор отношения используется для измерения того, как часто пользователь использовал систему MOOC для взаимодеиствии. Уровень отношении обучающегося с другими пользователями в MOOC является элементом для проверки состояния обучения и деятельности обучаемого.

Для того, чтобы определить место в этои модели деятельности обучающегося в форуме, необходимо установить соответствие между категориями анализа и информациеи из журнала обучающегося, которую предоставляет MOOC платформа (табл. 8) [ 16 ]. Таблица 8. Данные журнала обучающегося Информация Конфигурация Информация о живости Общее количество сообщении Последняя дата сообщения Общее количество комментариев Учебная информация Количество загруженного учебного контента

Количество сделанных комментариев учебного контента Информация Количество сделанных "лаиков"/голосов (+1/-1) отношении Количество сделанных комментариев Количество "лаиков"/голосов (+1/-1) на свои, сделанных другими обучающимися Количество комментариев на свои, сделанных другими обучающимися Мы оставили в этои таблице только конфигурации, связанные с возможнои деятельностью в форуме, и добавили в них информацию о голосах как оценке деятельности в нем. Интерактивное взаимодействие в среде электронного обучения и его типы В электроннои среде обучения, обучающиеся взаимодеиствуют с многочисленными ресурсами (документы) и элементами (чаты, форумы, специальные инструменты "Опрос" или "Задание" и т.д.), а также со своими преподавателями. Взаимодеиствие идентифицируется как ключевои компонент процесса обучения [ 13 ].

Взаимодеиствие может осуществляться синхронно (С) и асинхронно (А). В первом случае инициатор взаимодеиствия посылает сообщение получателю и может продолжать работу только после получения ответа. Во втором случае инициатор взаимодеиствия после отправки сообщения может продолжать работу, не дожидаясь ответа.

В работе [ 19 ] впервые были определены три типа взаимодеиствии, которые могут иметь место в среде электронного обучения: "обучающиися – учитель", "обучающиися – контент" и "обучающиися – обучающиися". В дальнеишем этот список был расширен до шести типов взаимодеиствия, которые могут иметь место в условиях дистанционного обучения [ 3 ]: – "обучающиися – обучающиися" ("О – О"); – "контент – контент" ("К – К"); – "обучающиися – контент" ("О – К"); – ''инструктор – инструктор" ("И – И"); – "обучающиися – инструктор" ("О – И"); – "инструктор – контент" ("И – К").

Взаимодеиствия "обучающиися – инструктор" и "обучающиися – обучающиися", а также интерактивные элементы курса, оказывают существенное влияние на достижения студентов, в то время как другие виды взаимодеиствия существенно не связаны с успеваемостью.

При организации взаимодеиствия участников MOOC всегда следует учитывать уровень образования обучающихся MOOC. В отличие от академических студентов, которые, в основнои массе, гомогенные по уровню образования и возрасту, участники MOOC представляют собои краине гетерогенное сообщество. В табл. 9 представлена информация о высшеи образовательнои степени участников четырех MOOC, исследованных в публикациях корпуса научных работ.

Model

Thinking (n=1967) ** [ 10 ] 8 2 45 39

Human

Physiology (n=411) * [ 11 ]] 10 6 29 Высшая полученная степень

8.MReV

(n=1080) * [ 5 ] Система управления курсами (course management system, CMS) MOODLE (https://moodle.org/) представляет собои программныи продукт с открытым кодом, которыи широко используется учебными заведениями всего мира.

Для MOODLE, как учебнои платформы дистанционного образования, в эпоху MOOC находят различные применения: самостоятельно как основы для MOOC платформы - Box Hill Institute (http://mooc.bhtafe.edu.au/), Saylor.org academy (http://www.saylor.org/), Scool of Buisness and Trade (http://sobat.org/), Sophia (http://www.sophia.ac.jp/eng/e_top), UP2U (http://up2u.ipleiria.pt/en/), Virtual Linguistics Campus (http://linguistics.online.uni-marburg.de/); самостоятельно как основы для SPOC (Small Private Online Course, небольшои частныи онлаин-курс) [ 22 ]; как LMS в интеграции с MOOC и перевернутым классом [ 29 ]; как расширение экосистемы MOOC за счет интеграции внешних инструментов, таких как социальные сети [ 8 ].

Рассмотрим, какие элементы MOODLE могут быть использованы как инструменты реализации взаимодеиствия в MOOC (табл. 10).

Таблица 10. Элементы и события MOODLE и реализуемые ими типы взаимодействия Стандартные типы форумов MOOC

При огромном количестве участников курса и отсутствии прямого контакта с инструктором в MOOC предпринимают попытки разделить информационные потоки взаимодеиствия "обучающиися – инструктор", используя в курсе несколько форумов различных типов.

Для определения типа форума рекомендуется применять двумерное кодирование для классификации сообщения в соответствии с темои поста (табл. 11) и роли, которая предполагается у автора поста (табл. 12) [ 25 ]. Таблица 11. Тема сообщения Иллюстрациеи применения этих рекомендации является использование шести форумов в курсе "Introductory psychology": Обсуждение (общие аспекты курса); Q & A (о материале курса); Задания; Технические неисправности; Вопросы про Учебник; Студент Био (Представить себя и узнать о других) [ 9 ].

В случае использования форума в предметно-ориентированном MOOC количество ролеи может быть увеличено, например, для курса по программированию [ 23 ]: Жалобщик (жалуется о содержании курса или невозможностью наити программныи код для завершения задании); Советник факультета (вносит предложения о курсе, предлагает простую модификацию кода); Миротворец (посредничает между участниками обсуждения; отзывчив; милосерден к тем, кто разочарован; выясняет недоразумения между другими); Паищик (открывает доступ к интереснои информации, имеющеи отношение к содержанию курса, собственным работам и объяснениям, ссылкам на собственные загруженные эскизы).

Следует учитывать различия в доступных видах форумов на MOOC платформах. Так форумы Coursera имеют более линеиную структуру нити [ 14 ], хотя форум может состоять из нескольких специфичных подфорумов. Такая позволяет отсортированы по конкретнои теме студенческие вопросы и комментарии. MOODLE имеет инструменты для создания в курсе разнообразных типов форумов: Одна тема (), Древовидныи, Q&A. На платформе Udacity, обеспечен способ для Искателя Помощи, чтобы тегировать роль постов, которые ответили на его вопросы, (например, в соответствии с табл. 3). Но достаточно часто функция тегирования недоступна или пользователям просто не предоставляют теги [ 26 ]. Роль форума в рабочем пространстве обучающихся Таблица 12. Роль автора сообщения Взаимосвязи между использованием ресурсов, навыками и квалификацией. Изучение зависимостеи между временем, затраченным обучающимися на использование ресурсов и уровнем квалификации, а также с относительным увеличением навыков в курсе 8.MReV: – не подтвердило предположение о том, что время, потраченное на обсуждение материала на форуме или выполнение домашних задании приведет к увеличению среднего мастерства обучающихся; – подтвердило естественную ситуацию: более умелые обучающиеся имеют возможность выполнить необходимую домашнюю работу и лаборатории за гораздо меньшее время, чем менее умелые студенты [ 5 ].

Стили взаимодействия и роли обучающихся в форуме. Участие пользователеи в дискуссионном форуме MOOC различается. Многие пользователи не активны или используют форум с определеннои целью. Наряду с ними в MOOC форумах доминируют несколько активных пользователеи, которые могут влиять на других участников и стимулировать и поддерживать дискуссии [ 14 ].

Выделим два стиля взаимодеиствия обучающихся с форумом [ 28 ]. Пусть курс имеет длину N недель. Тогда пользователеи, которые участвуют в обсуждении материала на форуме в течение (N-1) и N недель, можно рассматривать как активных пользователеи не только из-за большего числа ответов, полученных и сделанных ими, но и из-за постоянного участия. Неактивные пользователи классифицируются как обычные пользователи, которые участвовали в форуме (N-2) недели или меньше.

Активные пользователи имеют больше влияния на дискуссионном форуме, чем обычные пользователи. Такои вывод обосновывается на основе потока форума, которыи инициирует новую тему обсуждения. Для сравнения используются три измерения потока форума: количество раз, когда поток читается пользователями (просмотры, ответы и длительность). Также активные пользователи вносят позитивныи вклад в форуме. Для этого оцениваются голоса (как положительные и отрицательные) их постов и комментариев. При этом, сообщения и комментарии, созданные активными пользователями, имеют более высокую вероятность получить отрицательныи результат голосования, чем у обычных пользователеи [ 28 ].

Связь активности в форуме с результатами успеваемости. SoA может рассматриваться как знак успеха завершения MOOC. Исследование [ 30 ] выявило разница между двумя группами обучающихся (SoA и не-SoA) в том, как они занимаются с элементами курса. Наименьшая разница была в просмотре видео лекции, а самои большои в публикации на форумах и оценивании сверстников. Более 70% не-SoA обучающихся никогда не читали сообщения на форумах хотя бы один раз, в то время как 85% SoA обучающихся это делали. Кроме того, не-SoA участники MOOC становятся неактивными на курсе очень рано. Такое расслоение можно в некоторои степени объяснить моделью сольного исследования учебного контента у не-SoA обучающихся. Но технология MOOC ориентирована на коллективное обучение и совместную деятельность, поэтому инструкторам курсов необходимо искать стимулы мотивации таких участников.

Возвращающиеся обучающиеся. Корме активных и пассивных участников дискуссионного форума в MOOC существует категория возвращающихся обучающихся. В работе [ 30 ] было проанализировано изменение в результатах и онлаин-поведении таких участников на примере нескольких издании шести MOOC: "Planning", "Astrobiology", "Critical Thinking", "Education & Digital Culture", "Equine Nutrition", "Introduction to Philosophy". Обучающиеся, которые никогда не были активными первыи раз никогда не становились активными. Роль форума в рабочем пространстве инструктора

Выше было указано, что инструкторами MOOC понимание деятельности в дискуссионных форумах оценивается как полезное в отличие от журналов чатов [ 25 ]. Однако нарекания обучающихся на отсутствие быстрои обратнои связи с инструктором в форумах не являются необоснованными. Огромные нити обсуждении приводят к тому, что вопрос студента "тонет" под тяжестью новых вопросов и комментариев, и быстро отыскать вопрос, остающиися без ответа, становится сложно

Выделение нитей обсуждения. Один из способов решения указаннои проблемы предложен в работе [ 9 ]. Хотя многие MOOCs разрабатывают отдельные форумы для различных видов использования, часто обучающиеся отправляют свои посты неожиданными способами, размещая их не в том тематическом форуме. Для форума, связанного с контентом, поиск темы и ее нити может быть выполнен более качественно лингвистическим моделированием.

Вмешательство инструктора в обсуждение. В проекте [ 6 ] предусматривается разделить нити форумов на три категории: те, в которые вмешались инструктор или другои персонал; те, в которые было вмешательство, но дальнеишие рассуждения не генерировались, и те, в которые вмешательства не было. Предстоящее исследование должно подтвердить или опровергнуть исследовательскую гипотезу о том, что обучение студентов из этих дискуссии будет существенно отличаться. Выводы

За пять лет существования массовых открытых онлаин курсов накоплен определенныи опыт их создания, эксплуатации и исследования. Массовость участников курсов влечет за собои проблемы организации интерактивного взаимодеиствия обучающихся и инструкторов. Базовои площадкои такого взаимодеиствия являются форумы MOOC. Анализу научных публикации об исследованиях форумов с целью выявления их места и роли в снижении отсева обучающихся с MOOC посвящена данная работа.

В результате систематического поиска в наукометрических базах данных и цифровых библиотеках было выявлено 25 научных публикации за 2012-2016 гг. После исключения дубликатов и включения работ из списков цитирования был сформирован корпус из 25 полнотекстовых публикации. Наибольшая публикационная активность выявлена в 2015 г., а лидером среди каналов публикации является конференция L@S. Анализ корпуса публикации показал, что наибольшая активность исследовании форумов сосредоточена на MOOC, размещенных на платформе Coursera (71 курс).

Для концептуализации понятия "Форум MOOC" сформирован начальныи вариант глоссария, приведена таксономия деиствии диалога, целеи мониторинга курса и ресурсов MOOC, используемых для контроля курса. Из результатов эмпирических исследовании, представленных в корпусе публикации, выявлены виды деятельности обучающихся, место форумов в распределении времени деятельности в курсе, типы данных для анализа обучающихся и соответствие между категориями анализа и информациеи из журнала обучающегося MOOC платформы. Для системы типов взаимодеиствия в среде электронного обучения установлено их соответствие элементам курса в CMS MOODLE, которая может используется и как платформа MOOC и SPOC. Рассмотрена типология форумов MOOC в соответствии с темои сообщения форума и роли его автора, ее применение и расширение. Выявлены факторы форума MOOC, которые являются ключевыми в рабочем пространстве обучающихся и инструктора соответственно.

Ограничениями работы является анализ только англоязычных источников.

Дальнеишие исследования будут направлены на анализ применения методов учебнои аналитики и интеллектуального анализа учебных данных форумов MOOC.

References Дацун Наталья Николаевна, доцент кафедры математического обеспечения вычислительных систем Пермского государственного научного исследовательского университета, кандидат физико-математических наук, [e-mail].

References

2. Anderson A. , Huttenlocher D. , Kleinberg J . et al. Engaging with massive online courses // Proceedings of the 23rd International Conference on World Wide Web (WWW '14) . - 2014 . - P. 687 - 698 . URL: https://www.cs.cornell.edu/home/kleinber/www14-courses.pdf.

3. Anderson T. , Garrison D. R. Learning in a networked world: New roles and responsibilities // Distance learners in higher education: Institutional responses for quality outcomes . C. Gibson (Ed.). Madison,. WI: Atwood Publishing (Atwood. ed.). - 1998 . - P. 97 - 112 . URL: http://auspace.athabascau.ca:8080/bitstream/2149/801/1/learning_in_a.pdf

4. Breslow L. , Pritchard D. E. , DeBoer J . et al. Studying learning in the worldwide classroom: Research into edX's first MOOC // Research & Practice In Assessment. - 2013 . - Vol. 8 . - P. 13 - 25 . URL: http://www.rpajournal.com/dev/wpcontent/uploads/2013/05/SF2.pdf.

5. Champaign J. , Colvin K. F. , Liu A. et al. Correlating skill and improvement in 2 MOOCs with a student's time on tasks // Proceedings of the first ACM conference on Learning @ scale conference (L@S '14) . - 2014 . - P. 11 - 20 . URL: https://edocs.uis.edu/jcham4/www/p11-champaign.pdf.

6. Chandrasekaran M.K. , Ragupathi K. , Kan M.-Y . et al. Towards feasible instructor intervention in MOOC discussion forums // Proceedings of the Thirty Sixth International Conference on Information Systems (ICIS '15) . - 2015 . - Vol. Research-inProgress. - P. 1 - 9 . URL: http://www.comp.nus.edu.sg/~a0092669/papers/icis2015.pdf.

7. Clow D. MOOCs and the funnel of participation // Proceedings of the Third International Conference on Learning Analytics And Knowledge (LAK '13) . - 2013 . - P. 185 - 189 . URL: http://oro.open.ac.uk/36657/1/DougClow-LAK13-revisedsubmitted.pdf.

8. Cruz-Benito J. , Borrás-Gené O., Garcı́ a-Peñalvo F. J. et al. Extending MOOC ecosystems using web services and software architectures // Proceedings of the 16th International Conference Interacció n '15 . - 2015 . - Article No. 52 .

9. Cui Yi , Wise A. F. Identifying Content-Related Threads in MOOC Discussion Forums // Proceedings of the Second ACM Conference on Learning @ Scale (L@S '15) . - 2015 . - P. 299 - 303 . URL: https://www.researchgate.net/publication/282712686_Identifying_ContentRelated_Threads_in_MOOC_Discussion_Forums.

10. Dillahunt T. , Chen B. , Teasley S. Model thinking: demographics and performance of MOOC students unable to afford a formal education // Proceedings of the first ACM conference on Learning @ scale conference (L@S '14) . - 2014 . - P. 145 - 146 . URL: https://www.researchgate.net/publication/262399228_Model_ thinking_demographics_and_performance_of_mooc_stude nts_unable_to_afford_a_formal_education.

11. Engle D. , Mankoff C. , Carbrey J . Coursera's introductory human physiology course: Factors that characterize successful completion of a MOOC // The International Review of Research in Open and Distributed Learning . - 2015 . - Vol. 16 , Iss . 2. - P. 46 - 68 .

12. Ezen-Can A. , Boyer K. E. , Kellogg S. Unsupervised modeling for understanding MOOC discussion forums: a learning analytics approach // Proceedings of the Fifth International Conference on Learning Analytics And Knowledge (LAK '15) . - 2015 . - P. 146 - 150 . URL: https://research.csc.ncsu.edu/learndialogue/pdf/LearnDialogue-EzenCan-LAKmooc- 2015 .pdf.

13. Gó mez Aguilar D. A. , Garcı́ a-Peñ alvo F. J. , Theró n R. Tap into visual analysis of the customization of grouping of activities in eLearning // Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality (TEEM '13) . - 2013 . - P. 253 - 259 . URL: https://www.researchgate.net/publication/269317478_Tap_ into_visual_analysis_of_customization_of_grouping_of_ activities_in_eLearning.

14. Hecking T. , Chounta I.-A. , Hoppe H. U. Investigating social and semantic user roles in MOOC discussion forums // Proceedings of the Sixth International Conference on Learning Analytics & Knowledge (LAK '16) . - P. 198 - 207 . URL: https://www.researchgate.net/publication/301591264_Investigating_ social_and_semantic_user_roles_in_MOOC_discussio n_forums.

15. Howley I. , Tomar G. , Yang D. et all. Alleviating the negative effect of up and downvoting on help seeking in MOOC discussion forums // Proceedings of the 17th International Conference on Artificial Intelligence in Education (AIED '15): series Lecture Notes in Computer Science . - Springer International Publishing, 2015 . - Vol. 9112 . - P. 629 - 632 . URL: https://www.andrew.cmu.edu/ user/ihowley/website/pubs/2015howley_AlleviatingNegEffOfVotingInMOOCs.pdf.

16. Ji H. , Park K. , Jo J . et al. Mining students activities from a computer supported collaborative learning system based on peer to peer network // Peer-to-Peer Networking and Applications . - 2016. - Vol. 9 , Iss . 3. - P. 465 - 476 .

17. Kizilcec R. F. , Piech C. , Schneider E . Deconstructing disengagement: analyzing learner subpopulations in massive open online courses // Proceedings of the Third International Conference on Learning Analytics and Knowledge (LAK '13) . - 2013 . - P. 170 - 179 . URL: http://web.stanford.edu/~cpiech/bio/papers/deconstructingDisengagement.pdf.

18. Kizilcec R. F. , Schneider E. , Cohen G. L. et al. Encouraging Forum Participation in Online Courses with Collectivist , Individualist and Neutral Motivational Framings // Proceedings of the European MOOCs Stakeholder Summit (EMOOCs '14) . - 2014 . - P. 80 - 87 . URL: http://www.emoocs2014.eu/sites/default/files/Proceedings-Moocs-Summit- 2014 .pdf.

19. Moore M. G. Editorial : Three types of interaction // American Journal of Distance Education. - 1989 . - Vol. 3 , Iss .2. - P. 1 - 7 . URL: https://www.researchgate.net/publication/237404371_Three_Types_of_Interaction.

20. Mustafaraj E. , Bu J . The Visible and Invisible in a MOOC Discussion Forum // Proceedings of the Second ACM Conference on Learning @ Scale (L@S '15) . - 2015 . - P. 351 - 354 .

21. Nespereira C. G. , Vilas A. F. , Redondo R. P. Dı ́az. Am I failing this course?: risk prediction using e-learning data // Proceedings of the 3rd International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM '15) . - 2015 . - P. 271 - 276 . URL: https://www.researchgate.net/publication/301453451_Am_ I_failing_this_course_risk_prediction_using_e-learning_data.

22. Neubaum G. , Wichmann A. , Eimler S. C. et al. Investigating Incentives for Students to Provide Peer Feedback in a Semi-Open Online Course: An Experimental Study // Proceedings of the 10th International Symposium on Open Collaboration (OpenSym '14) . - 2014 . - P. 19 - 25 .

23. Nylén A. , Thota N. , Eckerdal A. et al. Multidimensional analysis of creative coding MOOC forums: a methodological discussion // Proceedings of the 15th Koli Calling Conference on Computing Education Research (Koli Calling '15) . - 2015 . - P. 137 - 141 . URL: https://www.researchgate.net/publication/

24. 285406637_ Multidimensional_analysis_of_creative_coding_MOOC_forums_a_methodological_discussion

25. Sharif A. , Magrill B . Discussion Forums in MOOCs // International Journal of Learning, Teaching and Educational Research . - 2015 . - Vol. 12 , Iss . 1. - P. 119 - 132 . URL: http://www.ijlter.org/index.php/ijlter/article/download/368/166.

26. Stump G.S. , Deboer J. , Whittinghil , J. et al. Development of a Framework to Classify MOOC Discussion Forum Posts : Methodology and Challenges // NIPS Workshop on Data Driven Education. - 2013 . - P. 1 - 20 . URL: https://tll.mit.edu/sites/default/files/library/Coding_a_MOOC_Discussion_Forum.pdf.

27. Sun C. , Li S .-W., Lin L . Thread structure prediction for MOOC discussion forum / / Proceedings of the Second International Conference of Young Computer Scientists, Engineers and Educators (ICYCSEE '16) . Social Computing: series Communications in Computer and Information Science. - 2016 . - Vol. 624 . - P. 92 - 101 .

28. Wong J.-S. , Pursel B. , Divinsky A. et al. Analyzing MOOC discussion forum messages to identify cognitive learning information exchanges // Proceedings of the 78th ASIS&T Annual Meeting: Information Science with Impact: Research in and for the Community (ASIST '15) . - Article No. 23 . URL: https://www.asist.org/files/meetings/am15/proceedings/submissions/papers/35paper.pdf.

29. Wong , J. , Pursel , B. , Divinsky , A. et al. An Analysis of MOOC Discussion Forum Interactions from the Most Active Users // Proceedings of the 8th International Conference on Social Computing , Behavioral-Cultural Modeling , and Prediction (SBP '15): series Lecture Notes in Computer Science - Springer International Publishing, 2015 . - Vol. 9021 . - P. 452 - 457 . URL: https://faculty.ist.psu.edu/jjansen/academic/jansen_MOOCs_active_users.pdf.

30. Wong S. Y. , Tee W. J. , Lim P. V. Design Model for Integrating Learning Activity Management System (LAMS), Massive Open Online Courses (MOOC) and Flipped Classroom in Taylor's Integrated MOODLE e-Learning System (TIMeS) // Holistic Education: Enacting Change . Part III. - Singapore: Springer Singapore, 2014 . - P. 379 - 387 .

31. Woodgate A. , Macleod H. , Scott A. -M . et al. Differences in online study behaviour between sub-populations of MOOC learners // Educacion XXI. 2015 . Vol. 18 , Iss . 2. P. 147 - 163 .

32. Zhu J. , Warner J. , Gordon M. Toward a domain-specific visual discussion forum for learning computer programming: An empirical study of a popular MOOC forum // Proceedings of the IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC '15) . - 2015 . - P. 101 - 109 . URL: http://www.pgbovine.net/publications/computer-programmingMOOC-discussion -forum-design_VLHCC-2015 .pdf.

Datsun N.N. Opyt ispol'zovanija sredstv jelektronnogo obuchenija dlja formirovanija professional'nyh i kommunikativnyh kompetencij dlja bakalavrov // Jelektronnoe obuchenie v nepreryvnom obrazovanii . - 2014 . - T. 2 , № 1 ( 1 ). - S. 31 - 37 .

Anderson A. , Huttenlocher D. , Kleinberg J . et al. Engaging with massive online courses // Proceedings of the 23rd Methodology and Challenges // NIPS Workshop on Data Driven Education. - 2013 . - P. 1 - 20 . URL: https://tll.mit.edu/sites/default/files/library/ Coding_a_MOOC_Discussion_Forum.pdf.

26. Sun C. , Li S .-W., Lin L . Thread structure prediction for MOOC discussion forum / / Proceedings of the Second International Conference of Young Computer Scientists, Engineers and Educators (ICYCSEE '16) . Social Computing: series Communications in Computer and Information Science. - 2016 . - Vol. 624 . - P. 92 - 101 .

27. Wong J.-S. , Pursel B. , Divinsky A. et al. Analyzing MOOC discussion forum messages to identify cognitive learning information exchanges // Proceedings of the 78th ASIS&T Annual Meeting: Information Science with Impact: Research in and for the Community (ASIST '15) . - Article No. 23 . URL: https://www.asist.org/files/meetings/am15/proceedings/submissions/papers/35paper.pdf.

28. Wong , J. , Pursel , B. , Divinsky , A. et al. An Analysis of MOOC Discussion Forum Interactions from the Most Active Users // Proceedings of the 8th International Conference on Social Computing , Behavioral-Cultural Modeling , and Prediction (SBP '15): series Lecture Notes in Computer Science - Springer International Publishing, 2015 . - Vol. 9021 . - P. 452 - 457 . URL: https://faculty.ist.psu.edu/jjansen/academic/ jansen_MOOCs_active_users.pdf.

29. Wong S. Y. , Tee W. J. , Lim P. V. Design Model for Integrating Learning Activity Management System (LAMS), Massive Open Online Courses (MOOC) and Flipped Classroom in Taylor's Integrated MOODLE e-Learning System (TIMeS) // Holistic Education: Enacting Change . Part III. - Singapore: Springer Singapore, 2014 . - P. 379 - 387 .

30. Woodgate A. , Macleod H. , Scott A. -M . et al. Differences in online study behaviour between sub-populations of MOOC learners // Educacion XXI. 2015 . Vol. 18 , Iss . 2. P. 147 - 163 .

31. Zhu J. , Warner J. , Gordon M. Toward a domain-specific visual discussion forum for learning computer programming: An empirical study of a popular MOOC forum // Proceedings of the IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC '15) . - 2015 . - P. 101 - 109 . URL: http://www.pgbovine.net/publications/computer-programmingMOOC-discussion -forum-design_VLHCC-2015 .pdf.