Досліджено проблему автоматизації пошуку ключових термінів у контенті навчальних матеріалів. Розглянуто інформаційну технологію автоматизованого визначення множини ключових семантичних термінів у контенті навчальних матеріалів, що ґрунтується на пошуку використаних фраз у тексті та дисперсійній оцінці важливості слів. Відповідно до даної інформаційної технології, на основі введених даних у вигляді файлу навчального матеріалу автоматизовано формується структура цифрового документу для вибору елементу для аналізу, після чого проводиться сегментація по фразах і термінах, терміни лематизуються та їх множина компактифікується. На основі автоматично лематизованого тексту проводиться пошук та дисперсійне оцінювання важливості слів у обраному фрагменті, після чого оцінюється важливість термінів, а їх кількість обмежується відповідно до коефіцієнту щільності ключових слів. Вхідними даними інформаційної технології є цифровий документ навчального матеріалу, вихідними даними є відповідна множина ключових семантичних термінів навчального матеріалу. Також описано результати аналізу закономірностей існуючих множин ключових семантичних термінів. Розглянуто тестовий програмний продукт, що дозволяє автоматизовано визначати множину ключових семантичних термінів за даною інформаційною технологією. Проведені дослідження підтвердили можливість ефективно формувати множини ключових семантичних термінів навчальних матеріалів з показниками точності пошуку до 92,9 % та повноти пошуку до 100,0 %. Розглянуто практичні особливості використання спеціалізованого розширення при роботі з електронними документами. Викладено фактори, що ускладнюють ефективне визначення семантичних термінів у навчальних матеріалах. Встановлена ефективність запропонованої технології сприяє її використанню для вирішення ряду актуальних задач, таких як оцінка відповідності навчальних матеріалів змістовим вимогам, оцінка відповідності наборів тестових завдань навчальним матеріалам, семантична допомога при створенні тестів, автоматизація формування рефератів та анотацій до елементів навчальних матеріалів тощо. Подальші дослідження спрямовані на аналіз впливу на показники ефективності технології взаємозв'язку між кількістю ключових семантичних термінів в результуючій множині та значенням коефіцієнту щільності ключових слів та вдосконалення розглянутої інформаційної технології для покращення результатів. Ключові слова: цифровий документ, навчальні матеріали, ключові терміни, дисперсійна оцінка. Исследовано проблему автоматизации поиска ключевых терминов в контенте обучающих материалов. Рассмотрено информационную технологию автоматизированного определения множества ключевых семантических терминов в контенте обучающих материалов, основанную на поиске использованных фраз в тексте и дисперсионной оценке важности слов. Согласно данной информационной технологии, на основе введенных данных в виде файла обучающего материала автоматизировано формируется структура цифрового документа для выбора элемента для анализа, после чего проводится сегментация по фразам и терминам, термины лемматизируются и их множество компактификуется. На основе автоматически лематизированного текста производится поиск и дисперсионная оценка важности слов в выбранном фрагменте, после чего оценивается важность терминов, а их количество ограничивается в соответствии с коэффициентом плотности ключевых слов. Входными данными информационной технологии является цифровой документ обучающего материала, выходными данными является соответствующее множество ключевых семантических терминов обучающего материала. Также описаны результаты анализа закономерностей существующих множеств ключевых семантических терминов. Рассмотрен тестовый программный продукт, позволяющий автоматизировано определять множество ключевых семантических терминов по данной информационной технологии. Проведенные исследования подтвердили возможность эффективно формировать множества ключевых семантических терминов обучающих материалов с показателями точности поиска до 92,9 % и полноты поиска до 100,0 %. Рассмотрены практические особенности использования специализированного расширения при работе с электронными документами. Изложены факторы, затрудняющие эффективное определение семантических терминов в учебных материалах. Определенная эффективность предложенной технологии способствует ее использованию для решения ряда актуальных задач, таких как оценка соответствия обучающих материалов требованиям, оценка соответствия наборов тестовых заданий обучающим материалам, помощь при создании тестов, автоматизация формирования рефератов и аннотаций к элементам обучающих материалов и прочие. Дальнейшие исследования направлены на анализ влияния на показатели эффективности технологии взаимосвязи между количеством ключевых семантических терминов в результирующем множестве и значением коэффициента плотности ключевых слов и совершенствования рассмотренной информационной технологии для улучшения результатов. Ключевые слова: цифровой документ, обучающие материалы, ключевые термины, дисперсионная оценка.
Ю.В. Крак, О.В. Бармак, О.В. Мазурець
The problem of automation of key terms search in the content of educational materials is investigated. The information technology of automated determination of a set of key semantic terms in the content of educational materials is considered, which is based on the search of used phrases in the text and the disperse evaluation of words importance. In accordance with this information technology, on the basis of the data entered as an educational material file, the structure of a digital document is automatically formed to select an element for analysis, after which segmentation is performed by phrases and terms, the terms are lemmatized and set of them is compactified. On the basis of automatically lemmatized text, a search and disperse evaluation of the importance of words in the chosen fragment is performed, after which the terms importance is calculated, and their number is limited by the value of the keyword density ratio. Input data of information technology is a digital document of educational material, the output data is the corresponding set of key semantic terms of the educational material. The results of the analysis of the regularities of the existing sets of key semantic terms are also described.
The test software that allows to automate the determination of sets of key semantic terms using this information technology is considered. Conducted investigations confirmed the possibility of effectively forming the set of key semantic terms of educational materials, evaluated search precision metrics up to 92.9 % and search recall up to 100.0 %. The practical features of the use of specialized extension for working with electronic documents are considered. The factors that complicate effective search of semantic terms in educational materials are described. The established effectiveness of the proposed technology allows use it to solution a number of urgent tasks, such as determination the conformity of educational materials to content requirements, determination the conformity of sets of test tasks to educational materials, semantic assistance in creating tests, automation of the creation of abstracts and annotations to the elements of educational materials, etc.
Further researches are aimed at analyzing the impact on the effectiveness of the technology of the relationship between the number of key semantic terms in the resulting set and the value of the keyword density ratio and improve of the information technology considered to improve the results.
Key word: digital document, key terms, educational materials, disperse evaluation. Вступ та постановка задачі
Опис інформаційної технології. На сучасному етапі у галузі сучасної вищої освіти для розробки й
використання курсів навчальних дисциплін використовуються спеціалізовані віртуальні навчаючі
середовища, наприклад, Moodle. При їх використанні, потенційна якість отриманих освітніх послуг прямо
залежить від якості навчальних матеріалів [
Загальноприйнятим є підхід до застосування навчальних матеріалів у вигляді цифрових документів
визначеної структури як інструменту навчання. Проте в усіх наведених випадках для досягнення відповідних
результатів використовується не власне цифровий документ чи його контент, а його семантична модель.
Формалізація побудови такої семантичної моделі забезпечується через застосування онтології як методу
формального опису знань, що містяться в навчальних матеріалах [
Основними етапами побудови онтології навчального матеріалу є пошук ключових термінів у контенті навчального матеріалу та побудова його логічної структури. Вхідними даними є електронний документ навчального матеріалу, тому для автоматизації виконання наведених етапів потрібна програмна обробка відповідних цифрових файлів (зазвичай формату .docx). Проблему автоматизації побудови логічної структури навчального матеріалу (наприклад: Дисципліна / Розділ / Тема) пропонується вирішувати шляхом визначення ієрархії змістовних блоків у цифровому документі за стилями текстового редактора (Заголовок 1 / Заголовок 2 / Заголовок 3), таким чином формуючи верхній рівень вертикальної онтології відповідної навчальної дисципліни. Проблему пошуку ключових термінів у контенті навчального матеріалу пропонується вирішувати шляхом використання відповідної інформаційної технології, що забезпечить формування нижнього рівня онтології навчальної дисципліни.
Характерною особливістю елементів навчальних матеріалів, що використовуються для аналізу в
процесі пошуку ключових термінів, є достатньо малий обсяг контенту. Малий обсяг контенту та вузька
семантична направленість елементів аналізу зменшує ефективність застосування розповсюджених методів
аналізу текстів, таких як частотна оцінка TF, оцінка TFIDF та дисперсійна оцінка DE [
Мета роботи – розробка інформаційної технології автоматизованого визначення множини ключових семантичних термінів у контенті навчальних матеріалів й дослідження її ефективності за допомогою відповідного програмного забезпечення. Основні результати
кількість слів у терміні n 1...6 ; M І ; якщо термін є словом ( n 1 ), то воно входить до множини іменників M І ; якщо термін є словосполученням ( n 1 ), то до його складу входять елементи множини M M . До складу множини M M входять множини семантично значущих елементів (іменників M І та прикметників МПК) та семантично зв’язуючих елементів (сполучників MC , часток MЧ та прийменників M ПЙ ); якщо n 1 , то до складу словосполучення входить принаймні один елемент із множини іменників якщо n 1 , то першим ( k 1 ) та останнім ( k n ) словом є елементи множини семантично значущих елементів M І M ПК ;
якщо n 1 , то між елементами словосполучення відсутні розділові знаки (окрім дефісу всередині складних іменників, який є частиною слова);
всі елементи (символи, слова) одного терміна в тексті мають однакові стильові властивості, відповідно в структурі цифрового документу не виходять за межі контейнеру TextRange.
В результаті використання розроблюваної інформаційної технології ставиться за мету отримання множин термінів MT , які відповідають наведеним закономірностям.
На рис. 1 подано схему інформаційної технології автоматизованого визначення множини семантичних термінів у контенті навчальних матеріалів, що висвітлює послідовність етапів перетворення даних для досягнення кінцевої мети.
1 2 3 4 7 8
Сегментація по параграфах та вибір параграфа для аналізу Сегментація по фразах Сегментація по термінах Лематизація та калькуляція термінів Оцінка важливості термінів Обмеження кількості термінів 5 6 Вхід: Навчальний матеріал
(файл .docx) Лематизація текстового контенту
обраного параграфа Пошук та дисперсійне оцінювання
важливих слів у параграфі Вихід: Множина термінів Рис.1. Схема інформаційної технології автоматизованого визначення множини семантичних термінів у контенті навчальних матеріалів Сегментація по параграфах та вибір параграфу для аналізу (Блок 1) полягає в аналізі структури цифрового документу. Зважаючи на існуючі загальноприйняті вимоги до структури навчальних матеріалів навчальних дисциплін (зокрема: Назва дисципліни / Розділ / Тема), можна зробити висновок про природню відповідність ієрархічної системи заголовків навчальних матеріалів як електронних документів верхнім рівням семантичної структури навчального матеріалу дисципліни. Наприклад, назви дисциплін відповідатимуть елементам стандартного стилю «Heading 1», назви розділів – «Heading 2», назви тем – «Heading 3» тощо (табл. 1). Таким чином, структура навчальних матеріалів як цифрових документів регламентується мовами розмітки цифрових документів й реалізується через систему заголовків. Оскільки обсяг охоплення визначеним навчальним матеріалом відповідної навчальної дисципліни та глибина формування ієрархії наперед невідомі, є доцільним використання рекурсивних конструкцій даталогічних моделей для реляційного збереження даних (назва та підпорядкованість) верхніх рівнів семантичної структури навчальних матеріалів. На рис. 2 модель Headings включає елементи: ID (унікальний ідентифікатор – порядковий номер запису), Name (назва елементу ієрархії навчального матеріалу), Level (цифра рівню ієрархії навчального матеріалу – наприклад, для назви дисципліни Headings(Level)=1), Sequence (цифра, що визначає послідовність даного елементу серед елементів
Таблиця 1. Приклад відповідності верхніх рівнів семантичної структури
навчальних матеріалів стандартним стилям цифрових документів Порядок в ієрархії
Рівень онтології навчальних матеріалів Назва стандартного стилю
цифрового документу 1 2 3 Навчальна дисципліна Розділ Тема
Headings
ID
Рис. 2. Модель для збереження даних структури навчальних матеріалів
Вихідними даними Блоку 1 є визначений фрагмент контенту цифрового документу навчального матеріалу, над яким буде проводитись подальша обробка.
Блок 2 (Сегментація по фразах) проводиться з метою розбиття фрагменту контенту цифрового документу, що обробляється, на менші фрагменти – фрази. Під фразою мається на увазі семантично цілісний вузол, що виокремлений стилістичним форматуванням тексту чи розділовими знаками, й локалізує місцезнаходження окремих термінів. Відповідно до об’єктної моделі документу, MS Office використовує розділи (Section), щоб вказати частини документа, що мають відмінне форматування. Об’єкти Section містяться в об’єкті Document (рис. 3), в колекції Selections. Розділи (Section) містять в собі менші елементи структури – абзаци (Paragraph). TextRange є найнижчим рівнем структури документу, що визначає фрагмент тексту однакового стилю в межах Paragraph.
TextRange Рис. 3. Загальна структура об’єктної моделі документу MS Office Так технічно до множини фраз включаються неперервні впорядковані послідовності слів, що не виходять за межі контейнерів цифрового документу TextRange та не перериваються розділовими знаками. Одержання в результаті виконання блоку множини фраз дозволяє в подальшому опрацьовувати на предмет пошуку термінів кожну з фраз поокремо.
Блок 3 (Сегментація по термінах) ставить за мету формування множини всіх можливих термінів, що присутні у досліджуваному контенті.
Таким чином, до множини термінів навчального матеріалу MT включаються всі можливі неперервні впорядковані послідовності слів, що не виходять за межі фраз та відповідають умові:
MT x1, x2, x3, x4, x5, x6 1 M І M П , x2 M M , x3 M M , x4 M M , x5 M M , x6 M M ,
x1, x2 , x3, x4 , x5, x6 M І , де M M – множина семантично значущих елементів (іменників МІ та прикметників M ПК ) та семантично зв’язуючих елементів (сполучників MC , часток MЧ та прийменників M ПЙ ),
M М M І M ПК M С MЧ M ПЙ .
Сегментація по термінах проводиться з використанням бази даних корпусу слів української мови та в якості вихідних даних формує множину термінів MT , що містяться в оброблюваному фрагменті цифрового документу навчального матеріалу.
Блок 4 (Лематизація та калькуляція термінів) дозволяє на основі множини термінів MT сформувати множину лемо-незалежних термінів MT1 і співставити кожному з них кількість зустрічань у досліджуваному тексті. Для цього спершу проводиться лематизація кожного слова у кожній фразі в множині MT . Під лематизацією мається на увазі приведення слів до, інфінітивного стану – наприклад, іменники переводяться у називний відмінок однини. Після чого одержана множина обробляється й компактифікується таким чином, що всі ідентичні повторення термінів видаляються, а кожному терміну спіставляться величина Kn , що відображає встановлену кількість появ даного терміну n у вхідній множині MT .
Оскільки на етапі формування множини термінів MT до неї додавались усі можливі варіанти термінів в межах фраз без поглинання більшими словосполученнями менших, в даному блоці проводиться аналіз необхідності такого поглинання. Якщо в множині MT1 існує термін n1 ( Kn1 – кількість появ терміну n1 в множині MT1 ), що є впорядкованою множиною з x1 слів, та термін n2 ( Kn2 – кількість появ терміну n2 в множині MT1 ), що є впорядкованою множиною з x2 слів, причому n1 є підмножиною n2 й x1 x2 , то при вірності виразу 2x1 x2 термін видаляється з результуючої множини. З метою спрощення подальшої обробки із одержаної множини MT1 доцільно також видаляти всі терміни, в яких Kn 1 , оскільки однократне використання терміну виключає факт цілеспрямованого розгляду відповідного поняття в структурній одиниці навчального матеріалу.
Отримана в результаті множина лемо-незалежних термінів MT1 містить терміни, що використовуються у навчальному матеріалі з кількісним показником використання, проте не визначає важливість даних термінів.
Блок 5 (Лематизація текстового контенту обраного параграфу) переводить текст визначеного фрагменту контенту цифрового документу навчального матеріалу, що аналізується, до відповідної послідовності слів у інфінітивному стані, що є вихідними даними цього блоку. Вони дозволяють проводити подальше оцінювання дисперсії слів.
Блок 6 (Пошук та дисперсійне оцінювання важливих слів у параграфі) призначений для оцінки
важливості кожного слова в досліджуваному тексті, що проводиться з використанням методу дисперсійного
оцінювання [
Відповідно до існуючої математичної моделі [
Akm Akm1 Akn m n , де на m-ій і n-ій позиціях в тексті знаходиться слово A , яке зустрілось k+1-ий і k-ий рази. Таким чином, дисперсійна оцінка розраховується за формулою де (A) – середнє значення послідовності A1, A2 , Ak ; (A2 ) – послідовності A12 , A22 , Ak2 ; К – кількість появи слова А в тексті.
Вхідними даними блоку є лематизований текстового контент визначеного фрагменту контенту цифрового документу навчального матеріалу, вихідними даними – впорядкована множина слів, кожному з яких співставлена оцінка його дисперсії, що позиціонується як оцінка важливості даного слова у досліджуваному фрагменті цифрового документу.
Блок 7 (Оцінка важливості термінів) вхідними даними має множину лемо-незалежних термінів MT1 із співставленою кожному з них кількістю зустрічань у досліджуваному тексті та впорядковану множину слів із співставленою кожному з них оцінкою його важливості (дисперсії) у досліджуваному тексті. Оцінка важливості vn кожного терміна n із множини MT1 обчислюється за формулою:
x vn n Kn n ,
i1 kn n Kn xn 0,07 , i1 X txt де Kn – кількість появ терміну n в множині MT1 ; kn – кількість появ i-го слова терміну n в лематизованому текстовому контенті визначеного фрагменту цифрового документу; n – дисперсійна оцінка для i-го слова терміну n ; xn – кількість слів у терміні n .
Вихідними даними блоку є множина лемо-незалежних термінів MT1 із співставленими кожному з них кількістю зустрічань у досліджуваному тексті та значенням оцінки важливості, впорядкована за спаданням номінального значення оцінки важливості.
Блок 8 (Обмеження кількості термінів) призначений для формування множини ключових термінів за
вхідними даними – множиною лемо-незалежних термінів MT1 . Множина ключових термінів формується на
основі лемо-незалежних термінів із множини MT1 з найбільшими значеннями оцінки важливості, а їх кількість
випливає із визначення відомого показника з семантичної обробки текстів, щільності ключових слів [
Вихідними даними блоку й відповідно інформаційної технології є множина MTК ключових термінів, відповідна досліджуваному фрагменту контенту цифрового документу навчального матеріалу.
Таким чином, запропонована інформаційна технологія автоматизованого визначення множини семантичних термінів у контенті навчальних матеріалів дозволяє на основі цифрового документу навчального матеріалу автоматизовано отримувати відповідну множину ключових термінів.
Реалізація інформаційної технології. З метою перевірки ефективності розробленої інформаційної технології автоматизованого визначення множини семантичних термінів у контенті навчальних матеріалів було проведене порівняння автоматизовано сформованої множини ключових семантичних термінів із множиною автора (експерта) для тестової вибірки цифрових документів навчальних матеріалів.
Відповідно до запропонованої інформаційної технології, було розроблене тестове програмне забезпечення, що реалізує обробку контенту цифрових документів навчальних матеріалів викладеним вище чином.
Цифрові файли навчальних матеріалів .docx організовані за допомогою відкритого формату XML, в
якому зберігаються документи як колекції окремих файлів і папок в стиснутому пакеті. Для реалізації
програмної обробки цифрових документів є доцільним використання спеціалізованих програмних
комплексів, що надають об’єктно-орієнтований інструментарій для програмної роботи з контентом
відповідних файлів, наприклад Microsoft.Office.Interap.Word.dll, DocumentFormat.OpenXml.dll та
Spire.Doc.dll. В рамках розробленого тестового програмного забезпечення було використано розширення
(1)
(2)
Spire.Doc.dll [
Рис. 4. Забезпечення доступу до елементів TextRange цифрового документу навчальних матеріалів за допомогою спеціалізованого розширення Створений тестовий програмний продукт на основі введених даних у вигляді файлу навчального матеріалу автоматизовано формує структуру цифрового документу для вибору елементу для аналізу, після чого проводиться сегментація по фразах і термінах, терміни лематизуються та їх множина компактифікується, на основі автоматично лематизованого тексту проводиться пошук та дисперсійне оцінювання важливості слів у обраному фрагменті, після чого оцінюється важливість термінів, а їх кількість обмежується відповідно до вищенаведеної математичної моделі. Зокрема, на рисунку 5 показано приклад обробки теми «Нейронні мережі когнітрон та неокогнітрон» дисципліни «Методи та системи штучного інтелекту.
Кінцевим результатом роботи тестового програмного продукту є множина ключових термінів тексту. В розглянутому випадку (рис. 5) за показника щільності ключових слів 7 % до множини ключових термінів
Рис. 5. Отримання множини важливих термінів тестовим програмним продуктом
Експериментальні результати. Ефективність практичного застосування розглянутої інформаційної
технології може бути оцінена шляхом використання відповідного тестового програмного продукту за
показниками точності (Precision) та повноти (Recall) [
Точність пошуку Р (відношення кількості релевантних ключових термінів, знайдених автоматично, до загальної кількості знайдених ключових термінів в досліджуваному тексті) та повнота пошуку R (відношення кількості релевантних ключових термінів, знайдених автоматично, до загальної кількості релевантних ключових термінів в досліджуваному тексті) обчислюються наступним чином:
P
MTK , R
MTEK де M TEK – множина релевантних ключових термінів, сформована експертом; MTK – множина знайдених автоматично ключових термінів.
Відповідно, середня точність пошуку P та середня повнота пошуку R визначаються за наступними формулами: k Pk k Rk P i1 k , R i1 k № п/п .1 .2 .3 .4 .5 .6 .7 .8 .9 10.
Когнітрон Неокогнітрон Нейрон Збуджуючий нейрон Гальмуючий нейрон Комплексний вузол Простий вузол Образ Вхідний образ Навчання + + + + + + + + + + + + + + + З метою визначення ефективності практичного застосування розглянутої інформаційної технології, тестовим програмним продуктом було оброблено тестову вибірку з 50 файлів із різних навчальних курсів. Наприклад, у результаті тестування розглянутого вище навчального матеріалу «Нейронні мережі когнітрон та неокогнітрон» було отримано множину ключових термінів та проведено її порівняння з авторською множиною. Результати порівняння наведено у табл. 2. В даному випадку точність пошуку склала 0,625, а повнота пошуку склала 0,714.
Середня точність пошуку склала 0,732, а повнота пошуку склала 0,697. Мінімальна точність пошуку одержана 0,512, мінімальна повнота пошуку – 0,581; максимальна точність пошуку – 0,929, максимальна повнота пошуку – 1,000.
Табл. 2. Порівняльна таблиця аналізу множин термінів Ключовий термін Визначено автором
Визначено автоматично Аналіз отриманих результатів виявив, що відсутність програмно визначених термінів у множині автора не завжди характеризує недолік розглядуваної технології. Деякі семантично важливі терміни автори суб’єктивно ігнорують, в той час як іншу категорію складають поняття, на яких автори акцентують надмірну увагу попри їх другорядність в рамках матеріалу, що викладається. Висновки
Розглянута інформаційна технологія дозволяє з достатньою ефективністю автоматизовано формувати множини ключових семантичних термінів навчальних матеріалів. Розроблене відповідно до запропонованої інформаційної технології програмне забезпечення в результаті обробки вхідних даних у вигляді цифрового документу навчального матеріалу формату .docx дозволяє одержувати вихідні дані у вигляді множини ключових термінів відповідного навчального матеріалу.
Проведені за допомогою розробленого авторами тестового програмного забезпечення дослідження підтвердили можливість ефективно автоматизовано формувати множини ключових семантичних термінів навчальних матеріалів з показниками точності пошуку до 92,9 % та повноти пошуку до 100,0 %.
Подальші дослідження спрямовані на аналіз впливу на показники ефективності запропонованої інформаційної технології взаємозв’язків між кількістю ключових семантичних термінів в результуючій множині та значеннями коефіцієнту щільності ключових слів та вдосконалення розглянутої інформаційної технології для покращення результатів. Література