Запропоновано інформаційну технологію, що ґрунтується на дисперсійній оцінці важливості слів, яка дозволяє з достатньо високою ефективністю визначати семантичні терміни в контенті навчальних матеріалів. Розглянуто фактори, що ускладнюють ефективне визначення семантичних термінів у навчальних матеріалах. Встановлена ефективність запропонованої технології сприяє її використанню для вирішення ряду актуальних задач, таких як оцінка відповідності навчальних матеріалів змістовим вимогам, оцінка відповідності наборів тестових завдань навчальним матеріалам, семантична допомога при створенні тестів, автоматизована генерація множин ключових слів та створення анотацій. Ключові слова: інформаційна технологія, семантичні терміни, навчальні матеріали, анотація. Предложена информационная технология, основанная на дисперсионной оценке важности слов, которая позволяет с достаточно высокой эффективностью определять семантические термины в контенте учебных материалов. Рассмотрены факторы, затрудняющие эффективное определение семантических терминов в учебных материалах. Установленная эффективность предложенной технологии способствует ее использованию для решения ряда актуальных задач, таких как оценка соответствия учебных материалов содержательным требованиям, оценка соответствия наборов тестовых заданий учебным материалам, семантическая помощь при создании тестов, автоматизированная генерация множеств ключевых слов и создания аннотаций. Ключевые слова: информационная технология, семантические сроки, учебные материалы, аннотация. The information technology on base of the disperse evaluation, which with enough high efficiency allows automated define the semantic terms in content of educational materials article is given. The factors that hinder effective analysis of educational materials have been considered. High efficiency offered technologies gives possible of its using in row of the problems, such as estimation of the correspondence of educational materials to requirements, estimation of the correspondence of set test tasks to educational materials, semantic help of making tests, automated keyword list and abstract generation.
потреба в виявленні як ключових слів, так і з ключових словосполучень; удосконалення алгоритмів пошуку ключових слів і словосполучень з використанням методу дисперсійної оцінки, та інші. Тому є доцільною розробка нової інформаційної технології, яка із використанням методу дисперсійної оцінки дозволить ефективно й автоматизовано визначати семантичні терміни в навчальних матеріалах.
Мета даної роботи – розробка інформаційної технології автоматизованого визначення семантичних термінів у контенті навчальних матеріалів й дослідження її ефективності за допомогою відповідного програмного забезпечення. Основні результати
Задача автоматизації визначення семантичних термінів у контенті навчальних матеріалів складається з ряду етапів перетворення інформації. Вхідними даними є контент навчальних матеріалів або його визначена частина; вихідними даними є ранжована множина семантичних термінів навчальних матеріалів.
Інформаційна технологія автоматизованого визначення термінів у навчальних матеріалах. На рис. 1 показано функціональну діаграму (виконану за стандартом ІDEF0 [14]), яка ілюструє послідовність дій при формуванні множини термінів у контенті навчальних матеріалів.
Навчальні матеріали Приведення контенту навчальних матеріалів до встановленого вигляду Контент навчальних матеріалів
Пошук ключових слів Множина ключових слів Пошук ключових словосполучень Множина ключових словосполучень Формування множини термінів Множина термінів Стандарти та правила оформлення Алгоритм пошуку ключових слів Алгоритм пошуку ключових словосполучень Алгоритм формування множини термінів Рис. 1. Діаграма етапів пошуку семантичних термінів у контенті навчальних матеріалів Кожному етапу з наведених відповідає деяка послідовність перетворення даних, що в сукупності формують інформаційну технологію автоматизованого визначення семантичних термінів, подану на рис. 2.
Попередня технічна обробка тексту (Блок 1) полягає в усуненні неоднозначного іменування термінів (наприклад, «СКБД», «Система керування БД», «Система керування базами даних») та обробці розділових знаків. де на m-ій і n-ій позиціях в тексті знаходиться слово А, яке зустрілось k+1-ий і k-ий рази. Тоді дисперсійна оцінка розраховується наступним чином [11]: де (ΔA) – середнє значення послідовності ΔA1, ΔA2, ΔAk ; (ΔA2 ) – послідовності A12, A22, Ak2 ; К – кількість появи слова А в тексті.
σ = (ΔA2 ) − (ΔA)2 (ΔA)
, Навчальні матеріали 1 2 3 4 5 6
Попередня технічна обробка тексту (видалення й стандартизація розділових знаків) Пошук ключових слів у контенті навчального матеріалу методом дисперсійного оцінювання Формування вихідної множини слів: • Сортування слів у множині за значенням дисперсійної оцінки; • Видалення неважливих слів (з дисперсійною оцінкою нижче порогової величини)
Формування вихідної множини словосполучень: • Пошук неперервних скупчень важливих слів; • Сортування словосполучень за частотою вживання; • Видалення не ключових словосполучень (що не містять двох і більше іменників чи прикметників)
Формування вихідної множини термінів: (заміщення словосполученнями слів, які є переважно
елементами відповідних словосполучень) Формування результуючої множини термінів: • Лематизація слів (приведення до нормальної форми); • Узгодження слів у словосполученнях; • Компактифікація множини (видалення повторів)
Множина термінів – ключових слів та словосполучень Рис. 2. Схема інформаційної технології автоматизованого визначення семантичних термінів у контенті навчальних матеріалів Для формування вихідної множини слів (Блок 3) слова у множині, сформованої у результаті дисперсійного оцінювання, сортуються за зменшенням значення дисперсійної оцінки й обмежуються за кількісним порогом. Термінами можуть виступати як слова, так і словосполучення й абревіатури. Якщо абревіатури з технічної точки зору розглядаються як слова, то словосполучення вимагають окремого алгоритму ідентифікації.
Словосполучення є стійкими сукупностями важливих слів, що згруповані у визначеній послідовності
та у такій комбінації неодноразово присутні в розглядуваному контенті. Для формування вихідної множини
словосполучень (Блок 4) проводиться пошук неперервних скупчень ключових слів протягом тексту й знайдені
зразки фіксуються у масиві словосполучень за алгоритмом, показаним на рис. 3. Отриманий масив
(
Розглянутим чином, на основі множин ключових слів та ключових словосполучень формується узагальнена множина термінів, до якої входять словосполучення й ті слова, значення дисперсійної оцінки яких суттєво перевищує значення дисперсійної оцінки зв’язаних із цим словом колокацій (словосполучень). Об’єднана множина термінів сортується за значеннями їх дисперсійної оцінки.
Очищення послідовності Ні Ні Початок Є ще слова у тексті?
Так Аналіз наступного слова у тексті Ні
Так Слово ключове?
Запис у послідовність В послідовності більше 1 слова?
Так Ні В множині є таке словосполучення? Так Додавання словосполучення до множини Кінець Збільшення частоти Рис. 3. Алгоритм пошуку сталих словосполучень у контенті навчальних матеріалів Реалізація інформаційної технології. З метою перевірки ефективності розробленої інформаційної технології було проведене порівняння результату автоматизованого визначення ключових семантичних термінів зі списком, сформованим експертом (автором відповідних матеріалів). Для автоматизованого формування множини ключових термінів авторами було розроблене тестове програмне забезпечення, що реалізує обробку контенту навчальних матеріалів викладеним вище чином. Структура програми складається з 6 модулів, кожен з яких у свою чергу складається з декількох класів (рис. 4).
MainForm – клас головної форма, що призначений для керування усім процесом знаходження ключових слів, словосполучень та об’єднання двох переліків у перелік ключових термінів.
Модуль, що відповідає за реалізацію основної логіки програми, складається з декількох класів (рис. 5), основні з яких наступні: Document – клас для збереження і обробки тексту документу; також клас реалізує перетворення ключових слів та ключових словосполучень і їх об’єднання; DispersiveEstimate – клас, що реалізує процес знаходження ключових слів; DBWorker – клас, що реалізує процес лематизації слів й інші функції, що пов’язані із базою даних.
Для зручного використання даних модулями програми, використовуються класи-представлення AnalysisWord та WordsRelations (рис. 6). Розроблена структура класів дозволяє реалізувати основні функції системи, такі як формування переліку ключових слів, формування переліку словосполучень та об’єднання їх у перелік ключових термінів.
Рис. 4. Діаграма класів застосування з автоматизованого визначення ключових семантичних термінів Рис. 5. Класи логіки програми Рис. 6. Класи-представлення Розроблений програмний продукт на основі введених даних у вигляді тексту документу (рис. 7) проводить його попередню обробку аналіз відповідно до розробленої інформаційної технології.
Рис. 7. Завантаження та попередня обробка тексту програмою За наведеним алгоритмом формуються множина ключових слів та множина ключових словосполучень, а на їх основі формується узагальнена множина термінів (рис. 8).
Рис. 8. Формування результуючої множина ключових термінів тексту BЕ , яку сформовано експертом. Перетин ВП цих множин BА I BЕ визначає ефективність автоматизованого визначення ключових семантичних термінів у відповідному навчальному матеріалі.
Практична ефективність технології автоматизованого визначення термінів для кожного з матеріалів k визначається за формулою: де N П – кількість термінів у експертній ( BЕ ) та сформованій автоматично ( BА ) множині термінів, що співпали ( BА I BЕ ); NЕ – кількість термінів у множині термінів BЕ , сформованій експертом (автором).
Відповідно, середня практична ефективність розробленої інформаційної технології визначається за наступною формулою:
Ek = N П ⋅100% ,
N Е k ∑ EПk E = i=1 k , де EПk – ефективність технології визначення термінів для k-го матеріалу; k – кількість навчальних матеріалів у тестовій вибірці.
У рамках досліджень було оброблено вибірку з 30 лекцій із різних навчальних курсів. Наприклад, у результаті тестування лекційного матеріалу «Основні поняття й архітектура систем баз даних» навчального курсу «Організація баз даних та знань» розробленим програмним забезпеченням було отримано множину ключових термінів та проведено її порівняння з авторською множиною. Деякі результати порівняння наведено у таблиці. В даному випадку ефективність методу склала 80 %. Середня ж практична ефективність застосування розробленої інформаційної технології склала 87,3 %. Таблиця. Фрагмент порівняльної таблиці аналізу множин термінів Термін Дисперсійна оцінка
Визначено
автоматично
Визначено
автором
(
Безпека БД 2,498457 2,389215 2,189637 2,095059 2,014957 1,951622
1,863380 1,811303 1,721403 + + + + + + + + + + + + + + + + + + рис. 9, для вибірки з 30 навчальних лекцій, для яких проводився аналіз, із об’єднаних множин 87,3 % термінів співпало. Решту 7,5 % склали терміни експерта, що не мали відповідників у згенерованій множині, й 5,2 % – терміни, що входили до автоматично згенерованої множини, проте не були відзначені в множині термінів експерта.
Рис. 9. Діаграма середньої ефективності пошуку ключових термінів Таким чином, практичне тестування розробленої інформаційної технології автоматизованого визначення семантичних термінів у контенті навчальних матеріалів виявило її середню ефективність 87,3 %, показавши при цьому мінімальну ефективність 65,1 % та максимальну – 100 %. Висновки
Запропонована інформаційна технологія дозволяє з достатньою ефективністю автоматизовано визначати семантичні терміни в контенті навчальних матеріалів. Проведені за допомогою розробленого авторами тестового програмного забезпечення дослідження підтвердили здатність запропонованого підходу з ефективністю 87,3 % автоматизовано визначати ключові слова та словосполучення у контенті навчальних матеріалів.
Подальші дослідження спрямовані на пошук виключних випадків та вдосконалення розглянутої інформаційної технології для покращення результатів при їх обробці.