Применение стохастической теории обучения и корпусных технологий в компьютерной лингводидактике Using Stochastic Learning Theory and Corpus Tools in CALL В.Р. Нымм 1 К.Р. Пиотровская 1 С. Нымм2 Voldemar Nymm 1 Xenia Piotrowska 1 Sven Nõmm2 jetnomm@gmail.com krp62@mail.ru sven.nomm@ttu.ee 1 Российский государственный педагогический университет им. А. И. Герцена, Санкт-Петербург, Российская Федерация 2 Таллинский технологический университет, Таллинн, Эстония 1 Herzen State Pedagogical University of Russia, Saint Petersburg, Russian Federation 2 Department of Software Science School of Information Technology, Tallinn University of Technology, Tallinn, Estonia Abstract The paper considers solving the CALL-problems in the framework of computing ex- periment and statistics methods. Special attention is drawn to developing the method- ological, informational and organizational components of a CALL system. The man- aging and control algorithms for learning process are based on methods and models of stochastic learning theory. Education process is based on a single-element model. The system is supported by free corpus manager tools. Keywords: Сomputing experiment framework, free corpus manager tools, computer assisted language learning, stochastic learning theory, statistics methods Аннотация Обсуждается проблема компьютерного обучения языку с точки зрения при- менения статистико-вероятностных методов и организации вычислительного экс- перимента. Особое внимание уделено развитию методологии, информационной и организационным компонентам. Реализуемые программой алгоритмы организации 1 и управления процессом обучения основаны на моделях и методах стохастической теории обучения. Обучение строится на базе одноэлементной модели. Предлага- ется методика отбора и замены содержания обучения при поддержке свободными корпусными сервисами. Ключевые слова: Вычислительный эксперимент, свободные корпусные тех- нологии, компьютерная лингводидактика, стохастическая теория обучения 1 Введение В науке хорошо известны примеры словосочетаний со “счастливой судьбой”. Возникнув для обозначения явления или понятия одной области исследований, они (то ли в силу предвосхищения будущего развития, то ли в силу каких-то других неизвестных при- чин) с годами расширяют свой ареал применения и включают в себя новую семантику понятия, расширяют объекты и области исследования и разработки. К числу таковых относится термин “компьютерная лингводидактика”, введенный в начале 90-х гг. в рабо- тах межрегиональной группы “Статистика Речи”, возглавляемой профессором Р.Г. Пио- тровским, для обозначения широкого круга вопросов, связанных с использованием ком- пьютерных технологий в учебном процессе [Piotrovskaya, 1991]. Поскольку специализа- ция группы заключалась в создании систем автоматической переработки текста, то и компьютерные лингводидактические разработки планировалось создавать на больших лингвистических базах систем машинного перевода в виде лексико-грамматических справочных служб широкого профиля [Piotrovskaya 1993]. Одной из отличительных черт современного этапа развития компьютерной лингводидактики является не столь- ко развитие элементной и программной компьютерной базы, сколько постоянный рост изменчивости лексического и лексико-грамматического состава профессионально ори- ентированных языков, обусловленного возникновением междисциплинарных областей знаний и расширением объемов информационного обмена. Это требует: а) организации механизма постоянной актуализации содержания языкового обуче- ния студентов в соответствии с их профессиональной ориентацией; б) интенсификации процесса обучения на основе тех широких возможностей, кото- рые предоставляют современные информационные технологии. Решение этих задач обусловило всплеск интереса к статистическим методам иссле- дования. Применение статистических методов к решению задач отбора содержания обу- чения не является чем-то новым. Идеи и методы применения статистико-вероятностных методов при выборе терминологических единиц профессионально ориентированных языков активно разрабатывались международной группой “Статистика речи” уже на- чиная с шестидесятых годов XX века. В значительной степени эти идеи и методы опе- режали свое время. Несмотря на то, что существовавшие на тот момент электронные средства не могли обеспечить сколько-нибудь существенной поддержки автоматиза- ции при разработке новых учебников и многое приходилось делать, что называется “вручную”, были созданы хорошие профессионально-ориентированные учебные посо- бия [Golovacheva 1978, German-Prozorova et al. 1982]. В настоящее время, не утратив- ший своей актуальности статистико-вероятностный подход [Lazdin 2013, Lazareva 2013, Sergeevnina 2011, Pavlovskaya et al. 2015], реализуется на новых, универсальных плат- формах, причем большинство западных исследователей трактуют наличие в современ- 2 ных системах ранее известных лингво-статистических моделей как элементы текст- майнинга [Scrivner et al. 2017, Anthony et al. 2013]. Этот объект применения статистико-вероятностных методов связан с наличием в сети Интернет многочисленных корпусов текстов по самым разнообразным профессио- нальным тематикам и открытых сервисов, предназначенных для выделения устойчивых словосочетаний и контекстов их употребления, являются эффективным инструмен- тарием для формирования содержания обучения профессионально ориентированных лингводидактических комплексов на основе лингво-статистических моделей и методов. Альтернативный объект применения статистико-вероятностных методов относит- ся к интенсификации языкового обучения на базе компьютерных средств и состоит в разработке эффективных алгоритмов управления процессом обучения. Основные труд- ности создания таких алгоритмов связаны с отсутствием адекватных знаний об этих процессах и достаточно опосредованных связей между основными критериями задачи (качеством обучения, временем обучения, устойчивостью полученных знаний). Для их преодоления междисциплинарная рабочая группа Российского государственного педа- гогического университета им. А.И. Герцена развивает исследования по проблеме ком- пьютерного обучения языку, основные положения и результаты которых отражены в ряде работ [Nymm et al. 2017]. 2 Постановка и пути исследования проблемы Вне зависимости от конкретной задачи обучения, центральную роль в ее постановке играют взаимодействие трех перечисленных выше критериев. Поскольку затрачивае- мое на обучение время является величиной, которую при любой организации процесса практически невозможно измерить, в качестве ее адекватного представления нами рас- сматривается суммарное количество стимулов упражнений, предъявленных обучаемо- му в ходе предшествующего обучения. Минимизацию введенного заменителя времени обучения естественно рассматривать как экстремальную цель, а качество обучения и устойчивость полученных знаний – как ограничения на решение задачи. В качестве основного инструмента моделирования процесса обучения рассматри- вается вектор параметров состояния обучаемого, значение каждой i-ой координаты ко- торого в любой момент времени выражает степень обученности обучаемого i-му язы- ковому явлению. Его использование позволяет в определенном смысле формализовать понятие качества обучения. При этом структура функционала или вектор-функции, количественно представляющая это понятие и зависящая от типа решаемой задачи, синтезируется исследователем, а в роли аргументов выступают координаты вектора параметров состояния обучаемого. Это дает возможность представить ограничения на решение задачи в форме системы целевых неравенств. Отсутствие возможности явного выражения связи между экстремальной целью и двумя другими критериями и, тем самым, найти точное решение оптимизационной за- дачи, переводит процесс ее решения в область построения стратегии, обеспечивающей максимально быструю сходимость координат вектора параметров состояния обучаемого к значениям, при которых выполнялись бы целевые неравенства. Каждая такая страте- гия строится на основе априорных знаний и интуитивных представлениях о процессах обучения. Чем выше степень априорного знания, тем больше возможностей для постро- ения алгоритма, близкого по своей осмысленности к “гипотетически оптимальному”. 3 Cравнение алгоритмов, реализующих различные стратегии, и функционирование механизма их постоянного развития осуществляется путем статистической обработки данных о реакциях обучаемых в ходе обучения и по его завершении. 3 Аппарат исследования В качестве базового элемента исследований выступает программа компьютерного обу- чения и тестирования (CALL-программа). Она объединяет в одной оболочке функцио- нальные модули, реализующие практически все основные типы упражнений типа сти- мул - реакция , на основе которых строятся современные учебники иностранного языка. Программа предназначена для использования студентами как при выполнении заданий учебного плана по изучению иностранного языка, так и при выполнении ими (в рамках курсовых и выпускных квалификационных работ) научных и научно-педагогических исследований по проблеме компьютерного языкового обучения. Для выполнения ис- следовательских функций программа снабжена средствами сбора данных о реакциях обучаемого в ходе обучения. Процесс компьютерного обучения реализуется в ходе последовательных сеансов и завершается тестированием. При этом все функции управления процессом обучения, включая: а) выбор порции упражнений для каждого очередного сеанса и каждого очередного стимула для предъявления студенту в ходе проведения сеанса, б) определение момента завершения каждого сеанса и момента завершения процес- са обучения в целом, осуществляется программой. Более того, тот факт, что доля программного кода, реализующего алгоритм управ- ления процессом (при любой его сложности), достаточно невелика относительно общего объема кода программного продукта в целом, дает возможность одновременно исполь- зовать и нормально сопровождать несколько программ с разными алгоритмами управ- ления, Тем самым, роль обучаемого в ходе сеанса сводится к выполнению заданий, пред- лагаемых ему программой, и ожиданию сообщения о том, что сеанс обучения успеш- но завершен. Реализуемые программой алгоритмы управления процессом обучения ос- нованы на моделях и методах стохастической теории обучения [Atkinson et al. 1969, Bush et al. 1973]. Достаточно полное описание одного из таких алгоритмов приведено в [Nymm et al. 2015]. Проверка эффективности этого алгоритма оценивалась в ходе эксперимента по изучению 100 языковых клише общенаучной английской лексики (устойчивые словосо- четания, вводные конструкции и т.п.). Участниками эксперимента были 50 студентов филологического факультета. Обучение выполнялось в ход самостоятельной работы студентов. Интервал времени между сеансами колебался у разных студентов в преде- лах от 24 до 72 часов. После обработки данных были получены следующие результаты. Среднее число предъявлений стимулов (по группе в целом), которое потребовалось для завершения обучения по одному упражнению, оказалось равным 4,64 (разброс значе- ний: от 2.72 до 7.81, стандартное отклонение – 1.57.). Среднее число сеансов, в ходе которых эти предъявления реализовывались, оказалось достаточно малым – всего 1.91 (разброс значений: от 1.51 до 2.37, стандартное отклонение – 0.32). По сути дела, это означает, что несмотря на существенное различия в числе требуемых для этого предъяв- 4 лений, для выучивания правильного ответа практически всем обучаемым требовалось не более двух сеансов. Среднее значение доли правильных ответов обучаемых в ходе контрольного тестирования, проведенного по всему материалу после завершении обу- чения, так же представляется достаточно оптимистичным – 0.779 (разброс значений: от 0.61 до 0.9, стандартное отклонение – 0.0832). Методология исследования. В методологическом плане программа ориентирова- на на использование в рамках вычислительного эксперимента. Под термином вычис- лительный эксперимент здесь понимается нами как “циклический процесс, реализую- щий эволюционную стратегию построения модели исследуемого объекта или процесса, каждую итерацию которой составляют три последовательно реализуемые стадии: анализ, синтез и оценка, а проверка адекватности модели, синтезированной в ходе каждой очередной итерации, осуществляется путем сравнения результатов натур- ных экспериментов с результатами, полученными с помощью компьютера путем вычислений по модели” [Belyaeva et al. 2013]. Идея вычислительного эксперимента исходит из того, что, приступая к моделиро- ванию объекта или процесса, мы всегда имеем, пусть и приближенное, представление о нем, которое далее можно последовательно улучшать на основе данных, получаемых в ходе экспериментов. В нашем случае вычислительный эксперимент рассматривается как механизм поиска эффективных алгоритмов обучения различным аспектам грам- матики и лексики иностранного языка. Для использования программы в рамках вы- числительного эксперимента ее структура была спроектирована так, чтобы обеспечить достаточно простую (т.е. без сколько-нибудь существенных перестроек программы) за- мену одних алгоритмов управления процессом обучения другими. В совокупности со встроенными в программу средствами сбора информации о ходе процессов обучения, которыми программа снабжена, реализация этого условия обеспе- чивает механизм параллельного развития как самой программы, так и проводимых с ее помощью исследований: а) каждое организованное (т.е. проводимое либо в рамках выполнения студентами заданий учебного плана, либо в исследовательских целях) использование программы рассматривается как элемент массового эксперимента; б) получаемые в ходе каждой итерации технологического цикла вычислительно- го эксперимента данные о ходе обучения обрабатываются и преобразуются в новые знания о процессах компьютерного обучения иностранным языкам; в) на основе полученных знаний ставятся новые задачи исследования, создаются новые и корректируются существующие алгоритмы управления процессом обучения, создаются новые базы обучающей информации и корректируется состав и объем суще- ствующих; г) производится замена одних алгоритмов управления другими и осуществляет- ся переход к следующей итерации технологического цикла. Таким образом, в любой момент времени программа работает на основе алгоритма, соответствующего текущим знаниям обучаемого и текущим представлениям о процессах компьютерного обучения. Отбор содержания обучения. Наряду с организацией процесса обучения и управ- лением, другой важной составляющей эффективности является оперативные отбор и замена содержания обучения. Оптимизация процесса формирования иноязычной или языковой профессиональной компетенции сопряжена, с одной стороны, со все ускоря- 5 ющимися темпами информационного обмена, который ведет к изменчивости лексико- грамматического состава профессионально ориентированного языка, с другой, - с по- явлением новых открытых сервисов, позволяющих осуществлять автоматизированное статистическое исследование текста и систем, помогающих оперативно формировать базы языковых упражнений в области лексики и грамматики. Объединенная группа исследователей из Японии и Новой Зеландии создала ряд открытых и надежных серви- сов, под названием AntLab, которые активно используются в корпусных исследованиях [Anthony et al. 2015, Nation et al. 2016]. На наш взгляд, часть из этих сервисов полезна для организации квантитативного отбора содержания обучения для CALL-программы. Целевое назначение отобранных программ, входящих в семейство программ AntLab, отражено в таблице 1. Таблица 1: Программное обеспечение для отбора содержания обучения на базе про- грамм семейства AntLab № п/п Название программы Целевое назначение 1. AntConc конкордансер 2. AntPConc организатор параллельных текстов 3. AntMover анализатор семантических блоков текста 4. AntWordProfiler профилирование словаря и оценка сложности текста 5. ProtAnt инструмент для поиска файла прототипа 6. TagAnt инструмент для частеречного теггирования текста Предварительно проводится обход наиболее известных в мире библиотек и науко- метрических баз данных с помощью программы AntCorGen с целью отбора исследо- вательского материала. Затем программами AntFileConverter, EndCodeAnt и VariAnt, проводится перевод текстов в нужный формат, проверка правописания и удаление незначимых для анализа символов. С помощью программы AntConc строится частот- ный словарь, выделяются ключевые слова и выявляются устойчивые словосочетания с ключевыми словами. Объем исследуемых текстов далее наращивается путем исполь- зования программы ProtAnt по введенным ключевым словам, которые выявлены на предварительном этапе или по эталонному тексту. Эта программа осуществляет отбор текстов наиболее близких по лексическому составу к поставленной учебной задаче. По- сле этого необходимо вернуться снова к работе по лингво-статическому исследованию в программе AntConc, но уже расширенного состава учебных текстов, а также к про- филированию полученного словаря и разметке текстов. Для удобства формирования учебных упражнений с помощью программы AntMover производится фрагментация и структурно-семантическая разметка текстов по предложениям с сохранением каждого предложения в отдельный файл. Далее программой ProtAnt снова обрабатываются уже файлы отдельных предложений и выявляются те из них, которые по лексическому или грамматическому составу подходят для кодирования упражнений в CALL – программу. Организация вычислительного эксперимента. В организационном плане реали- зация вычислительного эксперимента опирается на метод /it learning by doing (обуче- ние в деле) и рассматривается как часть высокотехнологичной образовательной среды, 6 в рамках которой осуществляется интеграция учебной и созидательной деятельности студентов в области информационных технологий, направленная на создание компонен- тов информационного и методического обеспечения систем языкового компьютерного обучения, с одной стороны, с другой, – на то, чтобы в процессе этой деятельности сту- денты научились: а) использовать программу языкового компьютерного обучения и тестирования для выполнения заданий учебного плана; б) выполнять на их базе научные и научно-педагогические исследования; в) обрабатывать полученные данные о ходе обучения, интерпретировать результа- ты. г) создавать (на основе существующего программного обеспечения) собственные си- стемы компьютерного обучения. Такой подход, с одной стороны, придает обучению четко выраженный приклад- ной характер, позволяет продемонстрировать применение информационных техноло- гий для выполнения полной технологической цепочки операций моделирования в обла- сти, относящейся к сфере основной специализации студентов, с другой, - дает возмож- ность использовать созидательную практическую деятельность студентов для реализа- ции двух важных функций вычислительного эксперимента: а) создания, тестирования и корректировки баз обучающей и тестовой информации по иностранным языкам; б) выполнения лабораторных экспериментов, в роли участников которых выступа- ют сами студенты. Обе эти функции реализуются в ходе практических занятий и самостоятельной работы магистрантов первого курса в рамках дисциплины “Информационные техноло- гии в профессиональной деятельности”. Первая из перечисленных функций позволяет избежать достаточно типичных ситуаций, когда при полной готовности к выполнению эксперимента практически невозможно найти участников (тем более мотивированных) для его реализации. Еще более очевидна важность второй функции. Как показывают результаты внедрения подхода, интеллектуальный ресурс, который студенты состав- ляют в совокупности, и временной ресурс, выделяемый учебным планом на самостоя- тельную работу студентов, достаточны для создания и актуализации электронных баз обучающей и тестовой информации. 4 Выводы Нами рассмотрены принципиальные моменты подхода к исследованию проблемы ком- пьютерного языкового обучения, развиваемого междисциплинарной рабочей группой университета. Методологической основой подхода является вычислительный экспери- мент, в рамках которого реализуется механизм постоянного саморазвития системы ком- пьютерного обучения как в части программного, так и в части информационного обес- печения. Многообразие грамматических структур, степень сходства или различия средств выражения одних и тех же явлений в русском и иностранных языках, лексические раз- личия и многое другое разбивает проблему на множество задач, каждая из которых является предметом отдельного исследования. Их решение, с одной стороны, требует значительных интеллектуальных ресурсов, с другой, – является прекрасной основой 7 для формирования на базе метода learning by doing (обучение в деле) научно иссле- довательских компетенций студентов в рамках выпускных квалификационных работ и диссертационных исследований. Дальнейшие шаги по развитию системы предполагают: а) совершенствование алгоритмов управления процессом обучения и расширение программного обеспечения системы до уровня сетевой технологии; б) разработку процедур выделения (на базе текст-майнинговых сервисов и корпус- ных технологий) метаинформационных структур (маркеров и шаблонов разной степе- ни детализации), характерных для текстов той или иной профессиональной (например, математической) направленности; в) формирование на основе этих процедур баз метаинформационных структур (phrase banks ) и упражнений по обучению использования структур в рамках системы языкового компьютерного обучения. Список литературы [Anthony et al. 2015] Anthony L., Baker P. (2015) ProtAnt: A Freeware Tool for Automated Prototypical Text Detection. In F. Formato and A. Hardie (Eds). Proceedings of Corpus Linguistics 2015 Lancaster, UK: Lancaster University. Pp. 24-26. [Anthony et al. 2013] Anthony L., Bowen M. (2013) The Language of Mathematics: A Corpus-based Analysis of Research Article Writing in a Neglected Field. Asian ESP Journal, 2013, 9(2). Рp. 5-25. [Atkinson et al. 1969] Atkinson R., Bower G., Krothers E. (1969) Vvedenie v matematicheskuyu teoriyu obucheniya, M.: Mir, 1969. – 487 s. [An introduction to mathematical learning theory] (In Russian) = Аткинсон Р., Бауэр Г., Кротерс Э. Введение в математическую теорию обучения, М.: Мир, 1969. – 487 с. [Belyaeva et al. 2013] Belyaeva L.N., Dzhepa T.L., Zak G.N., Kamshilova O.N., Nymm V.R., Razumova V.V. (2013) Avtomatizirovannoe rabochee mesto filologa v strukture obrazovatel’nogo prostranstva vuza. Monografiya [Philologist’s automatic workstation in a university educational space structure. Monograph] SPb: OOO «Knizhnyi Dom». – 127 s. (In Russian) = Беляева Л.Н., Джепа Т.Л., Зак Г.Н., Камшилова О.Н., Нымм В.Р., Разумова В.В. Автоматизированное рабочее место филолога в структуре образова- тельного пространства вуза. Монография СПб: ООО «Книжный Дом», 2013. – 127 с. [Bush et al. 1973] Bush R., Mosteller F. (1973) Sravnenie vos’mi modelei [Comparison of eight models] // Matematicheskie metody v social’nyh naukah. [Mathematical methods in social sciences] M.: Izd. Fizmatgiz, – 300 s. (In Russian) = Буш Р., Мостеллер Ф. Сравнение восьми моделей // Математические методы в социальных науках. М.: Изд. Физматгиз, 1973. – 300 c. [German-Prozorova et al. 1982] German-Prozorova L. P., Ivanov V. G. Uchebnik angliiskogo yazyka: dlya studentov vysshih inzhenernyh morskih uchilish. [English for students of higher engineering maritime school] Moskva : Vysshaya shkola, 1982. - 367 s. (In Russian) 8 = Герман-Прозорова Л. П., Иванов В. Г. Учебник английского языка: для студентов высших инженерных морских училищ. Москва : Высшая школа, 1982. – 367 с. [Golovacheva 1978] Golovacheva A.K. (1978) Chastotnyi kurs uskorennogo obucheniya angliiskomu yazyku po profilyu radioelektroniki. [Frequency course for English accelerated training for radio electronics profile] L.: Izd-vo LGU, – 239 s. (In Russian) = Головачева А.К. Частотный курс ускоренного обучения английскому языку по профилю радиоэлектроники. Л.: Изд-во ЛГУ, 1978. – 239 c. [Lazareva 2013] Lazareva M. (2013) Corpus-based foreign language learning. Pedagogic corpora and Web collaboration // Materialy Vtoroi mezhdunarodnoi nauchno- prakticheskoi konferencii «Aksiologicheskii aspekt soderzhaniya nepreryvnogo inoyazychnogo obrazovaniya: problemy i resheniya» [Материалы Второй между- народной научно-практической конференции «Аксиологический аспект содержания непрерывного иноязычного образования: проблемы и решения»] [Axiological aspect of the continuous foreign language education content: problems and solutions. Proceedings of international scientific conference], Москва, 31 января - 2 февраля 2013 г. [Nepreryvnoe pedagogicheskoe obrazovanie.ru] (In Russian), № 3. S. 96 . [Lazdin 2013] Lazdin’ T.A. (2013) Osnovy statisticheskoi optimizacii prepodavaniya inostrannyh yazykov [Bases of statistical optimization for foreign language teaching] //Vestnik Sankt-Peterburgskogo universiteta. Ser. 9. 2009. Vyp. 3. (In Russian) = Лаз- динь Т.А. Основы статистической оптимизации преподавания иностранных языков //Вестник Санкт-Петербургского университета. Сер. 9 Вып. 3. 2009. C. 202-208 [Nation et al. 2016] Nation P., Anthony L. (2016) Measuring vocabulary size //Handbook of Research in Second Language Teaching and Learning, Volume III, E. Hinkel (Ed.) New York: Routledge. – 514 p. [Nymm et al. 2015] Nymm V.R. Evolyucionnyi podhod k sozdaniyu i razvitiyu CALL- tehnologii na baze vychislitel’nogo eksperimenta [Evolutional approach to creation and development of CALL-technologies on the basis of a computing experiment] // Izvestiya Rossiiskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gercena [Proceedings of Herzen State Pedagogical University of Russia], № 173. SPb.: Izd. «Izvestiya RGPU», 2015. S. 137-147. (In Russian) = Нымм В.Р. Эволюционный подход к созданию и развитию CALL-технологий на базе вычислительного эксперимента // Известия Российского государственного педагогического университета им. А.И. Гер- цена, № 173. СПб.: Изд. «Известия РГПУ», 2015. С. 137-147. [Nymm et al. 2017] Nymm V.R., Piotrovskaya K.R., Makogon I.S., Eremeeva Yu.P. Sozdanie i razvitie sredstv elektronnoi podderzhki obucheniya inostrannomu yazyku na baze vychislitel’nogo eksperimenta [Creation and development of electronic support tools for computing experiment-based foreign language learning] // Aktual’nye problemy sovremennoi prikladnoi lingvistiki, sbornik nauchnyh statei, posvyashennyi 80-letiyu doktora filologicheskih nauk, professora A.V. Zubova. [Actual problems of theoretical and applied Linguistics. Proceedings of international scientific conference in honor of professor A.V. Zubov] Ministerstvo obrazovaniya Respubliki Belarus’, Minskii gosudarstvennyi lingvisticheskii universitet. Minsk, 2017. S. 308-312. (In Russian) = Нымм В.Р., Пио- тровская К.Р., Макогон И.С., Еремеева Ю.П. Создание и развитие средств элек- 9 тронной поддержки обучения иностранному языку на базе вычислительного экспе- римента // Актуальные проблемы современной прикладной лингвистики. сборник научных статей, посвященный 80-летию доктора филологических наук, профессора А.В. Зубова. Министерство образования Республики Беларусь, Минский государ- ственный лингвистический университет. Минск, 2017. С. 308-312. [Pavlovskaya et al. 2015] Pavlovskaya I.Yu., Gorina O.G. Korpusno-kognitivnye metody obucheniya leksicheskoi storone rechi na inostrannom yazyke [Corpora and cognitive methods of lexical training in a foreign language] // //Kognitivnye issledovaniya yazyka. [Cognitive Studies of Language] 2015. № 22. S. 552-554. (In Russian) = Павловская И.Ю., Горина О.Г. Корпусно-когнитивные методы обучения лексической стороне речи на иностранном языке //Когнитивные исследования языка, 2015. № 22. С. 552-554 [Piotrovskaya 1993] Piotrovskaya K.R. (1993) Modeli, programmnye i informacionnye sredstva uchebnogo ARM perevodchika. Dissertaciya na soiskanie uchenoi stepeni kandidata tehnicheskih nauk [Models. Program and information facilities of the AWS for a translator training. Thesis on candidate of technical sciences degree] (In Russian), Kiev, 1993. – 142 s. = Пиотровская К.Р. Модели, программные и информационные средства учебного АРМ переводчика. Диссертация на соискание ученой степени кан- дидата технических наук. Киев, 1993. – 142 c. [Piotrovskaya, 1991] Piotrovskaya K.R. (1991) Sovremennaya komp’yuternaya lingvodidaktika [Modern computer linguodidactics] // Nauchno-tehnicheskaya informaciya (NTI). Seriya 2. Informacionnye processy i sistemy [Scientific and Technical Information/ Series 2. Information processes and systems] 1991. № 4. S. 26 (In Russian) = Пиотровская, К.Р. Современная компьютерная лингводидактика // Научно-техническая информация (НТИ). Серия 2. Информационные процессы и системы, № 4. С. 26 [Sergeevnina 2011] Sergeevnina V.M. (2011) Iz opyta sostavleniya uchebnyh terminologicheskih slovarei dlya studentov neyazykovyh vuzov [Some experience in building educational terminological dictionaries for technical university students] // Vestnik Nizhegorodskogo universiteta, [Nizhegorodski University Herald]. S. 624-627 (In Russian) = Сергеевнина В.М. Из опыта составления учебных терминологи- ческих словарей для студентов неязыковых вузов // Вестник Нижегородского университета, 2011. C. 624-627 [Scrivner et al. 2017] Scrivner O. I., Trapido J., Lee.Text mining toolkit for digital corpora // Труды международной конференции “Корпусная лингвистика - 2017”, 27–30 июня 2017 г., [Proceedings of the International Conference “Corpora - 2017”, Saint Petersburg, June 27–29, 2017] Санкт-Петербург. S. 72-77 10