<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Применение стохастической теории обучения и корпусных технологий в компьютерной лингводидактике Using Stochastic Learning Theory and Corpus Tools in CALL</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Voldemar Nymm</string-name>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Xenia Piotrowska</string-name>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Sven No˜mm</string-name>
          <email>sven.nomm@ttu.ee</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Saint Petersburg</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Russian Federation</string-name>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Department of Software Science School of Information Technology, Tallinn University of Technology</institution>
          ,
          <addr-line>Tallinn</addr-line>
          ,
          <country country="EE">Estonia</country>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Herzen State Pedagogical University of Russia</institution>
        </aff>
      </contrib-group>
      <pub-date>
        <year>1982</year>
      </pub-date>
      <fpage>308</fpage>
      <lpage>312</lpage>
      <abstract>
        <p>The paper considers solving the CALL-problems in the framework of computing experiment and statistics methods. Special attention is drawn to developing the methodological, informational and organizational components of a CALL system. The managing and control algorithms for learning process are based on methods and models of stochastic learning theory. Education process is based on a single-element model. The system is supported by free corpus manager tools.</p>
      </abstract>
      <kwd-group>
        <kwd>2 Таллинский технологический университет</kwd>
        <kwd>Таллинн</kwd>
        <kwd>Эстония</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>1</p>
      <p>Введение
В науке хорошо известны примеры словосочетаний со “счастливой судьбой”. Возникнув
для обозначения явления или понятия одной области исследований, они (то ли в силу
предвосхищения будущего развития, то ли в силу каких-то других неизвестных
причин) с годами расширяют свой ареал применения и включают в себя новую семантику
понятия, расширяют объекты и области исследования и разработки. К числу таковых
относится термин “компьютерная лингводидактика”, введенный в начале 90-х гг. в
работах межрегиональной группы “Статистика Речи”, возглавляемой профессором Р.Г.
Пиотровским, для обозначения широкого круга вопросов, связанных с использованием
компьютерных технологий в учебном процессе [Piotrovskaya, 1991]. Поскольку
специализация группы заключалась в создании систем автоматической переработки текста, то и
компьютерные лингводидактические разработки планировалось создавать на больших
лингвистических базах систем машинного перевода в виде лексико-грамматических
справочных служб широкого профиля [Piotrovskaya 1993]. Одной из отличительных
черт современного этапа развития компьютерной лингводидактики является не
столько развитие элементной и программной компьютерной базы, сколько постоянный рост
изменчивости лексического и лексико-грамматического состава профессионально
ориентированных языков, обусловленного возникновением междисциплинарных областей
знаний и расширением объемов информационного обмена. Это требует:
а) организации механизма постоянной актуализации содержания языкового
обучения студентов в соответствии с их профессиональной ориентацией;</p>
      <p>б) интенсификации процесса обучения на основе тех широких возможностей,
которые предоставляют современные информационные технологии.</p>
      <p>Решение этих задач обусловило всплеск интереса к статистическим методам
исследования. Применение статистических методов к решению задач отбора содержания
обучения не является чем-то новым. Идеи и методы применения статистико-вероятностных
методов при выборе терминологических единиц профессионально ориентированных
языков активно разрабатывались международной группой “Статистика речи” уже
начиная с шестидесятых годов XX века. В значительной степени эти идеи и методы
опережали свое время. Несмотря на то, что существовавшие на тот момент электронные
средства не могли обеспечить сколько-нибудь существенной поддержки
автоматизации при разработке новых учебников и многое приходилось делать, что называется
“вручную”, были созданы хорошие профессионально-ориентированные учебные
пособия [Golovacheva 1978, German-Prozorova et al. 1982]. В настоящее время, не
утративший своей актуальности статистико-вероятностный подход [Lazdin 2013, Lazareva 2013,
Sergeevnina 2011, Pavlovskaya et al. 2015], реализуется на новых, универсальных
платформах, причем большинство западных исследователей трактуют наличие в
современных системах ранее известных лингво-статистических моделей как элементы
текстмайнинга [Scrivner et al. 2017, Anthony et al. 2013].</p>
      <p>Этот объект применения статистико-вероятностных методов связан с наличием в
сети Интернет многочисленных корпусов текстов по самым разнообразным
профессиональным тематикам и открытых сервисов, предназначенных для выделения устойчивых
словосочетаний и контекстов их употребления, являются эффективным
инструментарием для формирования содержания обучения профессионально ориентированных
лингводидактических комплексов на основе лингво-статистических моделей и методов.</p>
      <p>Альтернативный объект применения статистико-вероятностных методов
относится к интенсификации языкового обучения на базе компьютерных средств и состоит в
разработке эффективных алгоритмов управления процессом обучения. Основные
трудности создания таких алгоритмов связаны с отсутствием адекватных знаний об этих
процессах и достаточно опосредованных связей между основными критериями задачи
(качеством обучения, временем обучения, устойчивостью полученных знаний). Для их
преодоления междисциплинарная рабочая группа Российского государственного
педагогического университета им. А.И. Герцена развивает исследования по проблеме
компьютерного обучения языку, основные положения и результаты которых отражены в
ряде работ [Nymm et al. 2017].
2</p>
      <p>Постановка и пути исследования проблемы
Вне зависимости от конкретной задачи обучения, центральную роль в ее постановке
играют взаимодействие трех перечисленных выше критериев. Поскольку
затрачиваемое на обучение время является величиной, которую при любой организации процесса
практически невозможно измерить, в качестве ее адекватного представления нами
рассматривается суммарное количество стимулов упражнений, предъявленных
обучаемому в ходе предшествующего обучения. Минимизацию введенного заменителя времени
обучения естественно рассматривать как экстремальную цель, а качество обучения и
устойчивость полученных знаний – как ограничения на решение задачи.</p>
      <p>В качестве основного инструмента моделирования процесса обучения
рассматривается вектор параметров состояния обучаемого, значение каждой i-ой координаты
которого в любой момент времени выражает степень обученности обучаемого i-му
языковому явлению. Его использование позволяет в определенном смысле формализовать
понятие качества обучения. При этом структура функционала или вектор-функции,
количественно представляющая это понятие и зависящая от типа решаемой задачи,
синтезируется исследователем, а в роли аргументов выступают координаты вектора
параметров состояния обучаемого. Это дает возможность представить ограничения на
решение задачи в форме системы целевых неравенств.</p>
      <p>Отсутствие возможности явного выражения связи между экстремальной целью и
двумя другими критериями и, тем самым, найти точное решение оптимизационной
задачи, переводит процесс ее решения в область построения стратегии, обеспечивающей
максимально быструю сходимость координат вектора параметров состояния обучаемого
к значениям, при которых выполнялись бы целевые неравенства. Каждая такая
стратегия строится на основе априорных знаний и интуитивных представлениях о процессах
обучения. Чем выше степень априорного знания, тем больше возможностей для
построения алгоритма, близкого по своей осмысленности к “гипотетически оптимальному”.</p>
      <p>Cравнение алгоритмов, реализующих различные стратегии, и функционирование
механизма их постоянного развития осуществляется путем статистической обработки
данных о реакциях обучаемых в ходе обучения и по его завершении.
3</p>
      <p>Аппарат исследования
В качестве базового элемента исследований выступает программа компьютерного
обучения и тестирования (CALL-программа). Она объединяет в одной оболочке
функциональные модули, реализующие практически все основные типы упражнений типа
стимул - реакция , на основе которых строятся современные учебники иностранного языка.
Программа предназначена для использования студентами как при выполнении заданий
учебного плана по изучению иностранного языка, так и при выполнении ими (в рамках
курсовых и выпускных квалификационных работ) научных и научно-педагогических
исследований по проблеме компьютерного языкового обучения. Для выполнения
исследовательских функций программа снабжена средствами сбора данных о реакциях
обучаемого в ходе обучения.</p>
      <p>Процесс компьютерного обучения реализуется в ходе последовательных сеансов и
завершается тестированием. При этом все функции управления процессом обучения,
включая:</p>
      <p>а) выбор порции упражнений для каждого очередного сеанса и каждого очередного
стимула для предъявления студенту в ходе проведения сеанса,</p>
      <p>б) определение момента завершения каждого сеанса и момента завершения
процесса обучения в целом, осуществляется программой.</p>
      <p>Более того, тот факт, что доля программного кода, реализующего алгоритм
управления процессом (при любой его сложности), достаточно невелика относительно общего
объема кода программного продукта в целом, дает возможность одновременно
использовать и нормально сопровождать несколько программ с разными алгоритмами
управления,</p>
      <p>Тем самым, роль обучаемого в ходе сеанса сводится к выполнению заданий,
предлагаемых ему программой, и ожиданию сообщения о том, что сеанс обучения
успешно завершен. Реализуемые программой алгоритмы управления процессом обучения
основаны на моделях и методах стохастической теории обучения [Atkinson et al. 1969,
Bush et al. 1973]. Достаточно полное описание одного из таких алгоритмов приведено в
[Nymm et al. 2015].</p>
      <p>Проверка эффективности этого алгоритма оценивалась в ходе эксперимента по
изучению 100 языковых клише общенаучной английской лексики (устойчивые
словосочетания, вводные конструкции и т.п.). Участниками эксперимента были 50 студентов
филологического факультета. Обучение выполнялось в ход самостоятельной работы
студентов. Интервал времени между сеансами колебался у разных студентов в
пределах от 24 до 72 часов. После обработки данных были получены следующие результаты.
Среднее число предъявлений стимулов (по группе в целом), которое потребовалось для
завершения обучения по одному упражнению, оказалось равным 4,64 (разброс
значений: от 2.72 до 7.81, стандартное отклонение – 1.57.). Среднее число сеансов, в ходе
которых эти предъявления реализовывались, оказалось достаточно малым – всего 1.91
(разброс значений: от 1.51 до 2.37, стандартное отклонение – 0.32). По сути дела, это
означает, что несмотря на существенное различия в числе требуемых для этого
предъявМетодология исследования. В методологическом плане программа
ориентирована на использование в рамках вычислительного эксперимента. Под термином
вычислительный эксперимент здесь понимается нами как “циклический процесс,
реализующий эволюционную стратегию построения модели исследуемого объекта или процесса,
каждую итерацию которой составляют три последовательно реализуемые стадии:
анализ, синтез и оценка, а проверка адекватности модели, синтезированной в ходе
каждой очередной итерации, осуществляется путем сравнения результатов
натурных экспериментов с результатами, полученными с помощью компьютера путем
вычислений по модели” [Belyaeva et al. 2013].</p>
      <p>Идея вычислительного эксперимента исходит из того, что, приступая к
моделированию объекта или процесса, мы всегда имеем, пусть и приближенное, представление
о нем, которое далее можно последовательно улучшать на основе данных, получаемых
в ходе экспериментов. В нашем случае вычислительный эксперимент рассматривается
как механизм поиска эффективных алгоритмов обучения различным аспектам
грамматики и лексики иностранного языка. Для использования программы в рамках
вычислительного эксперимента ее структура была спроектирована так, чтобы обеспечить
достаточно простую (т.е. без сколько-нибудь существенных перестроек программы)
замену одних алгоритмов управления процессом обучения другими.</p>
      <p>В совокупности со встроенными в программу средствами сбора информации о ходе
процессов обучения, которыми программа снабжена, реализация этого условия
обеспечивает механизм параллельного развития как самой программы, так и проводимых с
ее помощью исследований:</p>
      <p>а) каждое организованное (т.е. проводимое либо в рамках выполнения студентами
заданий учебного плана, либо в исследовательских целях) использование программы
рассматривается как элемент массового эксперимента;</p>
      <p>б) получаемые в ходе каждой итерации технологического цикла
вычислительного эксперимента данные о ходе обучения обрабатываются и преобразуются в новые
знания о процессах компьютерного обучения иностранным языкам;</p>
      <p>в) на основе полученных знаний ставятся новые задачи исследования, создаются
новые и корректируются существующие алгоритмы управления процессом обучения,
создаются новые базы обучающей информации и корректируется состав и объем
существующих;</p>
      <p>г) производится замена одних алгоритмов управления другими и
осуществляется переход к следующей итерации технологического цикла. Таким образом, в любой
момент времени программа работает на основе алгоритма, соответствующего текущим
знаниям обучаемого и текущим представлениям о процессах компьютерного обучения.
Отбор содержания обучения. Наряду с организацией процесса обучения и
управлением, другой важной составляющей эффективности является оперативные отбор и
замена содержания обучения. Оптимизация процесса формирования иноязычной или
языковой профессиональной компетенции сопряжена, с одной стороны, со все
ускоряющимися темпами информационного обмена, который ведет к изменчивости
лексикограмматического состава профессионально ориентированного языка, с другой, - с
появлением новых открытых сервисов, позволяющих осуществлять автоматизированное
статистическое исследование текста и систем, помогающих оперативно формировать
базы языковых упражнений в области лексики и грамматики. Объединенная группа
исследователей из Японии и Новой Зеландии создала ряд открытых и надежных
сервисов, под названием AntLab, которые активно используются в корпусных исследованиях
[Anthony et al. 2015, Nation et al. 2016]. На наш взгляд, часть из этих сервисов полезна
для организации квантитативного отбора содержания обучения для CALL-программы.
Целевое назначение отобранных программ, входящих в семейство программ AntLab,
отражено в таблице 1.
Таблица 1: Программное обеспечение для отбора содержания обучения на базе
программ семейства AntLab
№
п/п
1.
2.
3.
4.
5.
6.</p>
      <p>Название программы Целевое назначение
AntConc конкордансер
AntPConc организатор параллельных текстов
AntMover анализатор семантических блоков текста
AntWordProfiler профилирование словаря и оценка сложности текста
ProtAnt инструмент для поиска файла прототипа</p>
      <p>TagAnt инструмент для частеречного теггирования текста
Предварительно проводится обход наиболее известных в мире библиотек и
наукометрических баз данных с помощью программы AntCorGen с целью отбора
исследовательского материала. Затем программами AntFileConverter, EndCodeAnt и VariAnt,
проводится перевод текстов в нужный формат, проверка правописания и удаление
незначимых для анализа символов. С помощью программы AntConc строится
частотный словарь, выделяются ключевые слова и выявляются устойчивые словосочетания
с ключевыми словами. Объем исследуемых текстов далее наращивается путем
использования программы ProtAnt по введенным ключевым словам, которые выявлены на
предварительном этапе или по эталонному тексту. Эта программа осуществляет отбор
текстов наиболее близких по лексическому составу к поставленной учебной задаче.
После этого необходимо вернуться снова к работе по лингво-статическому исследованию
в программе AntConc, но уже расширенного состава учебных текстов, а также к
профилированию полученного словаря и разметке текстов. Для удобства формирования
учебных упражнений с помощью программы AntMover производится фрагментация и
структурно-семантическая разметка текстов по предложениям с сохранением каждого
предложения в отдельный файл. Далее программой ProtAnt снова обрабатываются уже
файлы отдельных предложений и выявляются те из них, которые по лексическому или
грамматическому составу подходят для кодирования упражнений в CALL – программу.
Организация вычислительного эксперимента. В организационном плане
реализация вычислительного эксперимента опирается на метод /it learning by doing
(обучение в деле) и рассматривается как часть высокотехнологичной образовательной среды,
в рамках которой осуществляется интеграция учебной и созидательной деятельности
студентов в области информационных технологий, направленная на создание
компонентов информационного и методического обеспечения систем языкового компьютерного
обучения, с одной стороны, с другой, – на то, чтобы в процессе этой деятельности
студенты научились:</p>
      <p>а) использовать программу языкового компьютерного обучения и тестирования
для выполнения заданий учебного плана;
б) выполнять на их базе научные и научно-педагогические исследования;
в) обрабатывать полученные данные о ходе обучения, интерпретировать
результаты.</p>
      <p>г) создавать (на основе существующего программного обеспечения) собственные
системы компьютерного обучения.</p>
      <p>Такой подход, с одной стороны, придает обучению четко выраженный
прикладной характер, позволяет продемонстрировать применение информационных
технологий для выполнения полной технологической цепочки операций моделирования в
области, относящейся к сфере основной специализации студентов, с другой, - дает
возможность использовать созидательную практическую деятельность студентов для
реализации двух важных функций вычислительного эксперимента:</p>
      <p>а) создания, тестирования и корректировки баз обучающей и тестовой информации
по иностранным языкам;</p>
      <p>б) выполнения лабораторных экспериментов, в роли участников которых
выступают сами студенты.</p>
      <p>Обе эти функции реализуются в ходе практических занятий и самостоятельной
работы магистрантов первого курса в рамках дисциплины “Информационные
технологии в профессиональной деятельности”. Первая из перечисленных функций позволяет
избежать достаточно типичных ситуаций, когда при полной готовности к выполнению
эксперимента практически невозможно найти участников (тем более мотивированных)
для его реализации. Еще более очевидна важность второй функции. Как показывают
результаты внедрения подхода, интеллектуальный ресурс, который студенты
составляют в совокупности, и временной ресурс, выделяемый учебным планом на
самостоятельную работу студентов, достаточны для создания и актуализации электронных баз
обучающей и тестовой информации.
4</p>
      <p>Выводы
Нами рассмотрены принципиальные моменты подхода к исследованию проблемы
компьютерного языкового обучения, развиваемого междисциплинарной рабочей группой
университета. Методологической основой подхода является вычислительный
эксперимент, в рамках которого реализуется механизм постоянного саморазвития системы
компьютерного обучения как в части программного, так и в части информационного
обеспечения.</p>
      <p>Многообразие грамматических структур, степень сходства или различия средств
выражения одних и тех же явлений в русском и иностранных языках, лексические
различия и многое другое разбивает проблему на множество задач, каждая из которых
является предметом отдельного исследования. Их решение, с одной стороны, требует
значительных интеллектуальных ресурсов, с другой, – является прекрасной основой
для формирования на базе метода learning by doing (обучение в деле) научно
исследовательских компетенций студентов в рамках выпускных квалификационных работ и
диссертационных исследований.</p>
      <p>Дальнейшие шаги по развитию системы предполагают:
а) совершенствование алгоритмов управления процессом обучения и расширение
программного обеспечения системы до уровня сетевой технологии;</p>
      <p>б) разработку процедур выделения (на базе текст-майнинговых сервисов и
корпусных технологий) метаинформационных структур (маркеров и шаблонов разной
степени детализации), характерных для текстов той или иной профессиональной (например,
математической) направленности;</p>
      <p>
        в) формирование на основе этих процедур баз метаинформационных структур
(phrase banks ) и упражнений по обучению использования структур в рамках системы
языкового компьютерного обучения.
Список литературы
[Lazareva 2013] Lazareva M. (
        <xref ref-type="bibr" rid="ref8">2013</xref>
        ) Corpus-based foreign language learning. Pedagogic
corpora and Web collaboration // Materialy Vtoroi mezhdunarodnoi
nauchnoprakticheskoi konferencii ¾Aksiologicheskii aspekt soderzhaniya nepreryvnogo
inoyazychnogo obrazovaniya: problemy i resheniya¿ [Материалы Второй
международной научно-практической конференции ¾Аксиологический аспект содержания
непрерывного иноязычного образования: проблемы и решения¿] [Axiological
aspect of the continuous foreign language education content: problems and solutions.
Proceedings of international scientific conference], Москва, 31 января - 2 февраля 2013
г. [Nepreryvnoe pedagogicheskoe obrazovanie.ru] (In Russian), № 3. S. 96 .
      </p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          [Anthony et al. 2015
          <string-name>
            <surname>] Anthony</surname>
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Baker</surname>
            <given-names>P.</given-names>
          </string-name>
          (
          <year>2015</year>
          )
          <article-title>ProtAnt: A Freeware Tool for Automated Prototypical Text Detection</article-title>
          . In F. Formato and
          <string-name>
            <given-names>A</given-names>
            .
            <surname>Hardie</surname>
          </string-name>
          (Eds).
          <source>Proceedings of Corpus Linguistics</source>
          <year>2015</year>
          Lancaster, UK: Lancaster University. Pp.
          <volume>24</volume>
          -
          <fpage>26</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          [Anthony et al. 2013
          <string-name>
            <surname>] Anthony</surname>
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bowen</surname>
            <given-names>M.</given-names>
          </string-name>
          (
          <year>2013</year>
          )
          <article-title>The Language of Mathematics: A Corpus-based Analysis of Research Article Writing in a Neglected Field</article-title>
          .
          <source>Asian ESP Journal</source>
          ,
          <year>2013</year>
          ,
          <volume>9</volume>
          (
          <issue>2</issue>
          ). Рp.
          <volume>5</volume>
          -
          <fpage>25</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          [Atkinson et al. 1969
          <string-name>
            <surname>] Atkinson</surname>
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bower</surname>
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Krothers</surname>
            <given-names>E.</given-names>
          </string-name>
          (
          <year>1969</year>
          )
          <article-title>Vvedenie v matematicheskuyu teoriyu obucheniya, M.:</article-title>
          <string-name>
            <surname>Mir</surname>
          </string-name>
          ,
          <year>1969</year>
          .
          <article-title>- 487 s. [An introduction to mathematical learning theory] (In Russian) = Аткинсон Р</article-title>
          .,
          <string-name>
            <surname>Бауэр</surname>
            <given-names>Г.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Кротерс</surname>
            <given-names>Э</given-names>
          </string-name>
          .
          <article-title>Введение в математическую теорию обучения</article-title>
          ,
          <source>М.: Мир</source>
          ,
          <year>1969</year>
          . -
          <fpage>487</fpage>
          с.
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          [Belyaeva et al. 2013
          <string-name>
            <surname>] Belyaeva</surname>
            <given-names>L.N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dzhepa</surname>
            <given-names>T.L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zak</surname>
            <given-names>G.N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kamshilova</surname>
            <given-names>O.N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nymm</surname>
            <given-names>V.R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Razumova</surname>
            <given-names>V.V.</given-names>
          </string-name>
          (
          <year>2013</year>
          )
          <article-title>Avtomatizirovannoe rabochee mesto filologa v strukture obrazovatel'nogo prostranstva vuza. Monografiya [Philologist's automatic workstation in a university educational space structure</article-title>
          . Monograph] SPb: OOO ¾Knizhnyi Dom¿.
          <article-title>- 127 s. (In Russian) = Беляева Л</article-title>
          .Н.,
          <string-name>
            <surname>Джепа</surname>
            <given-names>Т</given-names>
          </string-name>
          .Л.,
          <string-name>
            <surname>Зак</surname>
            <given-names>Г</given-names>
          </string-name>
          .Н.,
          <string-name>
            <surname>Камшилова</surname>
            <given-names>О</given-names>
          </string-name>
          .Н.,
          <string-name>
            <surname>Нымм</surname>
            <given-names>В</given-names>
          </string-name>
          .Р.,
          <string-name>
            <surname>Разумова</surname>
            <given-names>В</given-names>
          </string-name>
          .В.
          <article-title>Автоматизированное рабочее место филолога в структуре образова- тельного пространства вуза</article-title>
          .
          <source>Монография СПб: ООО ¾Книжный Дом¿</source>
          ,
          <year>2013</year>
          . -
          <fpage>127</fpage>
          с.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          [Bush et al. 1973
          <string-name>
            <surname>] Bush</surname>
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mosteller</surname>
            <given-names>F.</given-names>
          </string-name>
          (
          <year>1973</year>
          )
          <article-title>Sravnenie vos'mi modelei [Comparison of eight models] // Matematicheskie metody v social'nyh naukah</article-title>
          .
          <source>[Mathematical methods in social sciences] M.: Izd. Fizmatgiz</source>
          , -
          <volume>300</volume>
          s. (In Russian) =
          <article-title>Буш Р</article-title>
          .,
          <string-name>
            <surname>Мостеллер</surname>
            <given-names>Ф</given-names>
          </string-name>
          .
          <article-title>Сравнение восьми моделей // Математические методы в социальных науках</article-title>
          .
          <source>М.: Изд. Физматгиз</source>
          ,
          <year>1973</year>
          . -
          <fpage>300</fpage>
          c.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          [
          <string-name>
            <surname>German-Prozorova</surname>
          </string-name>
          et al. 1982]
          <string-name>
            <surname>German-Prozorova</surname>
            <given-names>L. P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ivanov</surname>
            <given-names>V. G.</given-names>
          </string-name>
          <article-title>Uchebnik angliiskogo yazyka: dlya studentov vysshih inzhenernyh morskih uchilish. [English for students of higher engineering maritime school] Moskva : Vysshaya shkola</article-title>
          ,
          <year>1982</year>
          . -
          <fpage>367</fpage>
          s. (In Russian)
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>[Golovacheva 1978] Golovacheva</surname>
            <given-names>A.K.</given-names>
          </string-name>
          (
          <year>1978</year>
          )
          <article-title>Chastotnyi kurs uskorennogo obucheniya angliiskomu yazyku po profilyu radioelektroniki. [Frequency course for English accelerated training for radio electronics profile</article-title>
          ] L.:
          <string-name>
            <surname>Izd-vo</surname>
            <given-names>LGU</given-names>
          </string-name>
          ,
          <article-title>- 239 s. (In Russian) = Головачева А</article-title>
          .К.
          <article-title>Частотный курс ускоренного обучения английскому языку по профилю радиоэлектроники</article-title>
          . Л.:
          <string-name>
            <surname>Изд-во</surname>
            <given-names>ЛГУ</given-names>
          </string-name>
          ,
          <year>1978</year>
          . -
          <fpage>239</fpage>
          c.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          [Lazdin 2013] Lazdin'
          <string-name>
            <surname>T.A.</surname>
          </string-name>
          (
          <year>2013</year>
          )
          <article-title>Osnovy statisticheskoi optimizacii prepodavaniya inostrannyh yazykov [Bases of statistical optimization for foreign language teaching] //Vestnik Sankt-Peterburgskogo universiteta</article-title>
          .
          <source>Ser. 9</source>
          .
          <year>2009</year>
          . Vyp.
          <volume>3</volume>
          . (In Russian) =
          <article-title>Лаз- динь Т</article-title>
          .А.
          <article-title>Основы статистической оптимизации преподавания иностранных языков //Вестник Санкт-Петербургского университета</article-title>
          .
          <source>Сер. 9 Вып. 3</source>
          .
          <year>2009</year>
          . C.
          <volume>202</volume>
          -
          <fpage>208</fpage>
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          [Nation et al. 2016
          <string-name>
            <surname>] Nation</surname>
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Anthony</surname>
            <given-names>L.</given-names>
          </string-name>
          (
          <year>2016</year>
          )
          <article-title>Measuring vocabulary size //Handbook of Research in Second Language Teaching and Learning</article-title>
          , Volume III, E. Hinkel (Ed.) New York: Routledge. -
          <volume>514</volume>
          p.
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          [Nymm et al. 2015]
          <string-name>
            <surname>Nymm</surname>
            <given-names>V.R.</given-names>
          </string-name>
          <article-title>Evolyucionnyi podhod k sozdaniyu i razvitiyu CALLtehnologii na baze vychislitel'nogo eksperimenta [Evolutional approach to creation and development of CALL-technologies on the basis of a computing experiment] // Izvestiya Rossiiskogo gosudarstvennogo pedagogicheskogo universiteta im</article-title>
          .
          <source>A.I. Gercena [Proceedings of Herzen State</source>
          Pedagogical University of Russia], №
          <fpage>173</fpage>
          . SPb.: Izd. ¾
          <string-name>
            <surname>Izvestiya</surname>
            <given-names>RGPU</given-names>
          </string-name>
          ¿,
          <year>2015</year>
          . S.
          <volume>137</volume>
          -
          <fpage>147</fpage>
          . (In Russian) =
          <article-title>Нымм В</article-title>
          .Р.
          <article-title>Эволюционный подход к созданию и развитию CALL-технологий на базе вычислительного эксперимента // Известия Российского государственного педагогического университета им</article-title>
          .
          <source>А.И</source>
          . Гер- цена, №
          <volume>173</volume>
          . СПб.: Изд. ¾
          <string-name>
            <surname>Известия</surname>
            <given-names>РГПУ</given-names>
          </string-name>
          ¿,
          <year>2015</year>
          . С.
          <volume>137</volume>
          -
          <fpage>147</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          [Nymm et al. 2017]
          <string-name>
            <surname>Nymm</surname>
            <given-names>V.R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Piotrovskaya</surname>
            <given-names>K.R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Makogon</surname>
            <given-names>I.S.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Eremeeva</given-names>
            <surname>Yu</surname>
          </string-name>
          .P.
          <article-title>Sozdanie i razvitie sredstv elektronnoi podderzhki obucheniya inostrannomu yazyku na baze vychislitel'nogo eksperimenta [Creation and development of electronic support tools for computing experiment-based foreign language learning] // Aktual'nye problemy sovremennoi prikladnoi lingvistiki, sbornik nauchnyh statei, posvyashennyi 80-letiyu doktora filologicheskih nauk, professora</article-title>
          <string-name>
            <given-names>A.V.</given-names>
            <surname>Zubova</surname>
          </string-name>
          . [
          <article-title>Actual problems of theoretical and applied Linguistics</article-title>
          .
          <article-title>Proceedings of international scientific conference in honor of professor A.V. Zubov] Ministerstvo obrazovaniya Respubliki Belarus', Minskii gosudarstvennyi lingvisticheskii universitet</article-title>
          . Minsk,
          <year>2017</year>
          . S.
          <volume>308</volume>
          -
          <fpage>312</fpage>
          . (In Russian) =
          <article-title>Нымм В</article-title>
          .Р., Пио- тровская К.Р.,
          <string-name>
            <surname>Макогон</surname>
            <given-names>И</given-names>
          </string-name>
          .С.,
          <string-name>
            <surname>Еремеева</surname>
            <given-names>Ю</given-names>
          </string-name>
          .П.
          <article-title>Создание и развитие средств элек-</article-title>
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          [Pavlovskaya et al. 2015
          <string-name>
            <surname>] Pavlovskaya</surname>
            <given-names>I.Yu.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gorina</surname>
            <given-names>O.G.</given-names>
          </string-name>
          <article-title>Korpusno-kognitivnye metody obucheniya leksicheskoi storone rechi na inostrannom yazyke [Corpora and cognitive methods of lexical training in a foreign language</article-title>
          ] // //Kognitivnye issledovaniya yazyka.
          <source>[Cognitive Studies of Language</source>
          ]
          <year>2015</year>
          . № 22. S.
          <volume>552</volume>
          -
          <fpage>554</fpage>
          . (In Russian) =
          <article-title>Павловская И</article-title>
          .Ю.,
          <string-name>
            <surname>Горина</surname>
            <given-names>О</given-names>
          </string-name>
          .Г.
          <article-title>Корпусно-когнитивные методы обучения лексической стороне речи на иностранном языке //Когнитивные исследования языка</article-title>
          ,
          <year>2015</year>
          . № 22. С.
          <volume>552</volume>
          -
          <fpage>554</fpage>
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <surname>[Piotrovskaya 1993] Piotrovskaya</surname>
            <given-names>K.R.</given-names>
          </string-name>
          (
          <year>1993</year>
          )
          <article-title>Modeli, programmnye i informacionnye sredstva uchebnogo ARM perevodchika</article-title>
          .
          <article-title>Dissertaciya na soiskanie uchenoi stepeni kandidata tehnicheskih nauk [Models. Program and information facilities of the AWS for a translator training</article-title>
          .
          <source>Thesis on candidate of technical sciences degree] (In Russian)</source>
          , Kiev,
          <year>1993</year>
          .
          <article-title>- 142 s. = Пиотровская К</article-title>
          .Р.
          <article-title>Модели, программные и информационные средства учебного АРМ переводчика</article-title>
          .
          <article-title>Диссертация на соискание ученой степени кан- дидата технических наук</article-title>
          .
          <source>Киев</source>
          ,
          <year>1993</year>
          . -
          <fpage>142</fpage>
          c.
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <source>[Piotrovskaya</source>
          , 1991]
          <string-name>
            <surname>Piotrovskaya</surname>
            <given-names>K.R.</given-names>
          </string-name>
          (
          <year>1991</year>
          )
          <article-title>Sovremennaya komp'yuternaya lingvodidaktika [Modern computer linguodidactics] // Nauchno-tehnicheskaya informaciya (NTI)</article-title>
          .
          <source>Seriya 2. Informacionnye processy i sistemy [Scientific and Technical Information/ Series 2. Information processes and systems] 1991. № 4</source>
          . S.
          <volume>26</volume>
          (In Russian) =
          <article-title>Пиотровская, К</article-title>
          .Р.
          <article-title>Современная компьютерная лингводидактика // Научно-техническая информация (НТИ). Серия 2. Информационные процессы и системы, № 4</article-title>
          . С.
          <volume>26</volume>
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          [Sergeevnina 2011]
          <string-name>
            <surname>Sergeevnina</surname>
            <given-names>V.M.</given-names>
          </string-name>
          (
          <year>2011</year>
          )
          <article-title>Iz opyta sostavleniya uchebnyh terminologicheskih slovarei dlya studentov neyazykovyh vuzov [Some experience in building educational terminological dictionaries for technical</article-title>
          university students] // Vestnik Nizhegorodskogo universiteta, [Nizhegorodski University Herald]. S.
          <volume>624</volume>
          -
          <fpage>627</fpage>
          (In Russian) =
          <article-title>Сергеевнина В</article-title>
          .М.
          <article-title>Из опыта составления учебных терминологи- ческих словарей для студентов неязыковых вузов // Вестник Нижегородского университета</article-title>
          ,
          <year>2011</year>
          . C.
          <volume>624</volume>
          -
          <fpage>627</fpage>
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          [Scrivner et al. 2017]
          <string-name>
            <surname>Scrivner</surname>
            <given-names>O. I.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Trapido</surname>
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
          </string-name>
          .
          <article-title>Text mining toolkit for digital corpora // Труды международной конференции “Корпусная лингвистика -</article-title>
          <year>2017</year>
          ”,
          <fpage>27</fpage>
          -
          <lpage>30</lpage>
          июня
          <year>2017</year>
          г.,
          <source>[Proceedings of the International Conference “Corpora -</source>
          <year>2017</year>
          ”, Saint Petersburg, June 27-29,
          <year>2017</year>
          ]
          <string-name>
            <surname>Санкт-Петербург</surname>
          </string-name>
          . S.
          <volume>72</volume>
          -
          <fpage>77</fpage>
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>