Аннотация Исследована возможность повышения качества выделения терминов предметной области в узкоспециализированных научных текстах. Для этого вначале с помощью семантико-синтаксического анализа и построения дерева зависимостей выделялись тематически значимые фрагменты текста. Затем производились кластеризация фрагментов и поиск терминов с использованием семантического классификатора. Показано, что данный метод позволяет с высокой вероятностью обнаруживать термины даже с единичной встречаемостью.
Во многих дисциплинах сейчас разрабатываются стандартные онтологии предметных областей, которые предназначены для совместного использования экспертами и автоматическими системами обработки информации. Процесс создания онтологии характеризуется высокой трудоемкостью, поскольку необходимо адекватно и максимально полно описать каждый концепт (термин), входящий в нее, с указанием всех возможных связей с другими концептами. В нашем исследовании анализируется начальный этап построения онтологии предметной области – автоматическое формирование списка терминов. В качестве исходного материала были взяты статьи Большого экономического словаря [7]. Представлены результаты кластеризации корпуса определений экономических понятий с последующим выделением терминов для каждого кластера. Объем корпуса был ограничен размерами, позволяющими вести ручную экспертную обработку для контроля качества работы автомата. Труды XVIII Международной конференции DAMDID/RCDL’2016 «Аналитика и управление данными в областях с интенсивным использованием данных», Ершово, 11-14 октября 2016 2 Смежные исследования
Отбор терминов для помещения в онтологию
обычно осуществляется с помощью
лингвистического и статистического анализа [
Для повышения точности отбора в [
В [
Для анализа мы выбрали фрагмент Большого экономического словаря [7], состоящий из 1020 словарных статей, относящихся к банковской деятельности.
Для контроля качества работы системы предварительно вручную было выделено 462 однословных термина. Мы сосредоточились именно на однословных терминах, потому, что их автоматическое выделение представляет наибольшие трудности. Двухсловные термины в данных текстах имеют четко выраженную структуру: прилагательное + существительное, расположенные контактно, и могут быть найдены стандартными частотными методами.
Выбранный тип текста (словарь) имеет свои особенности. С одной стороны, все словарные статьи построены по одному шаблону: заголовок статьи и дефиниция, состоящая, как правило, из гиперонима и дополнительной информации. При этом термины предметной области могут встречаться в обеих частях словарной статьи. Как оказалось, в заголовочные части входит только 59% терминов. Такая структурированность облегчает обработку текста.
С другой стороны, как отмечалось в [
Частотный Методы словарь ы м м е Л условия покупка депозит прибыль средства требование
TF-IDF институт соглашение условия актив владелец прибыль Предлагаемый метод заемщик кредитор аккредитив цена средства оплата вкладчик сделка затрата использование уровень производство обращение вложение
орган ПОКУПАТЕЛЬ ПОКУПАТЕЛЬ ПОКУПАТЕЛЬ Расход соглашение договор вкладчик часть владелец обращение риск время тПерромциеннотв 42% договор залог требование часть долг чек время 47% осуществление фонд погашение организация компания облигация залог валюта чек документ рынок 89% Аналогичные результаты получаются при анализе распределения терминов по TF-IDF (табл. 1, второй столбец). Здесь термин ПОКУПАТЕЛЬ имеет 38-й ранг из 80. В таком же диапазоне из 19 существительных (относящихся к 36–43 рангам) терминами являются 47% лемм.
Дополнительные проблемы создает
использование модели bag-of-words, явно
противоречащей структурности словарной статьи.
При проведении данного исследования вместо
bagof-words использовался фрагмент дерева
подчинения, построенного с помощью
семантикосинтаксического парсера SemSin [
В качестве примера рассмотрим следующую словарную статью (слова, включенные в краткое определение, выделены жирным шрифтом): ОБМЕННЫЙ КУРС – курс, по которому одна валюта обменивается на другую, цена денежной единицы страны, выраженная в иностранной валюте <…>. Рисунок 1 Построение краткого определения по фрагменту дерева подчинения
В правую часть кратких определений входит 16% выделенных вручную терминов, остальные – в полные определения. Такой подход позволил исключить из анализа большое количество слов общей лексики и выявить конструкции, состоящие из расположенных слов «нелокальные» неконтактно 4. Кластеризация словарных статей Выделение терминов происходило в три этапа: Формирование списка терминов из слов, принадлежащих выделенным классам.
Для сравнения дефиниций была построена
векторная модель текста. Каждому i-му абзацу,
соответствующему одной словарной статье, был
приписан нормализованный вектор {wn,i}, где wn ,i –
частота токена n в i-ом абзаце. В качестве токена
выступала либо лемма-существительное (сравнение
«по леммам»), либо ее семантический класс
(сравнение «по классам»), выявленный в ходе
синтаксического анализа, выполняемого парсером
SemSin. В последнем случае предполагалось, что
слова, принадлежащие одному классу,
эквивалентны: например, леммы банкнота и валюта
относятся к одному классу «Купюры». Классы
определялись в соответствии с семантическим
классификатором, аналогичным описанному в [
Существует много разных способов
кластеризации данных. Выбор наиболее
подходящего способа обусловлен особенностями
анализируемых данных и целей исследования. Был
применен стандартный иерархический
агломеративный алгоритм кластеризации Уорда.
Метод Уорда направлен на минимизацию суммы
разностей квадратов расстояний внутри каждого
кластера [
Для кластеризации мы использовали пакет
scikit-learn (Python) [
Сначала все объекты являются отдельными кластерами. На каждой итерации алгоритма к текущему кластеру s добавляется один объект t так, что межкластерное расстояние между новым кластером u s t и любым другим кластером меньше внутрикластерного расстояния.
Во многих отношениях метод Уорда является
наиболее точным среди других иерархических
методов [
Оптимальным для дальнейшей обработки оказалось разбиение текста на 35 кластеров, включающих от 4 до 282 словарных статей (среднее значение равно 29, медиана — 18).
Варианты классификации «по классам» и «по леммам» сравнивались с использованием данных о внутрикластерных и межкластерных расстояниях (Табл. 2). Чем больше разница между этими параметрами, тем точнее проведена кластеризация. Для используемой метрики расстояние лежит в интервале 0…1,41. Таблица 2 Средние значения внутрикластерных и межкластерных расстояний среднее среднее внутрикластерное межкластерное 0.41
Отметим, что результаты кластеризации
подтверждают вывод, сделанный в [
В целом, вариант отбора лексики «по классам» показывает более точные результаты. Например, термин ЦЕССИОНАРИЙ имеет три значения: лицо, становящееся кредитором (1); правопреемник (2); страховая компания (3). Во всех вариантах значение (1) верно определяется как относящееся к кластеру «Люди». При сравнении «по леммам», значения (2) и (3) объединяются в кластер, состоящий из 436 словарных статей. При сравнении «по классам» эта лемма в значении (2) попадает в кластер «Люди», а в значении (3) в кластер «Финансовые организации».
Для более точного исследования разницы результатов отбора лексики «по леммам» и «по классам», было сформировано два списка: список терминов-кандидатов «по классам» и список терминов-кандидатов «по словам» соответственно. 5 Автоматическое выделение терминов Кластеризация, описанная в разделе 4, проводилась на основе словаря кратких определений, что позволило существенно понизить зашумленность данных. На следующих этапах алгоритма выделения терминов мы использовали изначальные полные словарные статьи, поскольку, как было отмечено ранее, термины могут встречаться в любой части словарной статьи.
Сначала было выделено по три наиболее частых класса для каждого кластера. Стоит отметить, что полученный список классов, отличается от частотного списка классов, созданного до кластеризации из данных обо всем тексте в целом. Например, при отборе лексики «по классам» после кластеризации найдено 36 самых распространенных классов (Финансы, Деньги, Платежи, Учреждения…). Кроме того, обнаружено 7 существенных классов, которых не было в изначальном частотном списке классов (Документы, Торговля и сервис…). К ним относятся, например, термины РЫНОК, АУКЦИОН.
Затем, для каждого кластера отбирались существительные, принадлежащие наиболее частотным классам данного кластера. Эти существительные и вошли в итоговый список терминов-кандидатов. 6 Обсуждение результатов 6.1 Анализ списка терминов-кандидатов «по классам»
Из 311 отобранных слов «по классам» к терминам, выделенным экспертами относилось 249. Таким образом, точность отбора составила 0,8. В третьем столбце табл. 1 показана окрестность термина ПОКУПАТЕЛЬ (19 ранг) в частотном словаре итогового отбора. Если, как и выше, рассмотреть группу из 19 слов (с 13 по 24 ранги), то оказывается, что доля терминов в выборке увеличилась до 89% (по исходному частотному словарю – 42%). При этом из 17 терминов 13 «уникальны», т. е. встречаются в корпусе только один раз, например, ЗАЕМЩИК, ВАЛЮТА, ФОНД, РЫНОК. В то же время, в остальных столбцах присутствуют только по три уникальных термина.
Лексический анализ показал, что итоговый список терминов-кандидатов включает 95 из 147 терминов с единичной встречаемостью: ПРЕДОПЛАТА, ЛУИДОР, ФИДУЦИАРИЙ, КОМПАНИЯ-ХОЛДИНГ…. Из них 40 терминов встречались только в правой части словарной статьи, включая 25 терминов, не вошедших в краткие определения.
Для оценки качества выделения терминов был выбран стандартный способ оценки эффективности выделения информации, основанный на показателях точности и полноты. В нашем случае точность – доля правильных терминов среди слов-кандидатов, найденных автоматически, а полнота показывает, какую часть из терминов, выделенных экспертами, удалось обнаружить автоматически.
На рис. 2 и 3 представлены оценки точности и полноты соответственно. Предварительно список терминов-кандидатов был разбит на 10 примерно равных интервалов так, что термины-кандидаты с одинаковой частотой были в одном интервале. По оси абсцисс показана округленная средняя частотность терминов-кандидатов в данном интервале. Точность
1 0,5 0 1 2 3
4 6 10 15 30 60 170 Частотность лемм Рисунок 2 Зависимость точности выделения терминов от частотности их употребления в тексте Как видно из рис. 2, точность не зависит от частоты встречаемости термина-кандидата. Между тем, чем чаще встречается термин, тем выше вероятность, что он будет обнаружен автоматически (рис. 3). Стоит заметить, что представленный метод извлекает термины, встречающиеся один или два раза, с вероятностью 40%. Данные из таблицы 3 показывают, что стандартные методы выделяют такие низкочастотные термины значительно хуже. Полнота
1 0,8 0,6 0,4 0,2 0 1 2 3 5 6 10 15 30 60 170 Частотность лемм Рисунок 3 Зависимость полноты выделения терминов от частотности их употребления в тексте В табл. 3 представлены средние оценки точности и полноты, подсчитанные с помощью 4-х разных методов: 1. по частотному словарю; 2. по списку слов, составленному по весам TF
IDF; 3. по частотному словарю слов, являющихся заголовками словарных статей; 4. по частотному списку терминов-кандидатов, созданному по описанному методу «по леммам» и «по классам».
Количество слов во всех списках одинаковое (311 по количеству терминов-кандидатов, выделенных автоматически), слова располагаются в порядке убывания частоты встречаемости. Например, частотность в первом списке изменяется от 826 до 10. Каждый список сравнивался со списком терминов, выделенных экспертами. По таблице 3 видно, что результаты предлагаемого метода значительно выше остальных представленных способов выделения терминов. Таблица 3 Точность и полнота, полученные по разным методам выделения терминов Точность Полнота
F-мера Частотный словарь
Список терминов-кандидатов «по леммам» включает 349 лемм. Как видно из таблицы 3, результаты оценки качества выделения терминов немного выше результатов выделения по заголовкам, но значительно ниже результатов «по классам».
Списки терминов-кандидатов «по классам» и «по леммам» включают 192 общих терминов (42% от общего количества терминов): ВАЛЮТА, ДОЛЛАР, ЧЕКОДЕРЖАТЕЛЬ… и 54 слова общей лексики: БУМАГА, ГАРАНТИЯ, ОРГАНИЗАЦИЯ, ОСНОВАТЕЛЬ.… При этом 57 терминов встречаются только в списке терминов-кандидатов «по классам»: ФИНАНСЫ, БРОКЕР, ВАРРАНТ, ДЕБЕТ… В списке терминов-кандидатов «по леммам» таких слов всего 30.
Таким образом, сравнение двух способов отбора первичных данных показало, что предпочтительнее использовать способ отбора «по классам». 7 Заключение
В работе представлены результаты многоэтапного выделения однословных терминов из словаря предметной области с использованием классификатора. Показано, что традиционные методы определения терминов по частотному словарю или по весам TF-IDF не дают верной картины распределения терминов в узкоспециализированном тексте. Кроме того, несмотря на очевидность решения задачи — выборки терминов из заголовков статей словаря — оказалось, что уникальные термины могут встречаться также в любых частях дефиниций. Качество выделения терминов-кандидатов оценивалось с помощью списка терминов, найденных экспертами.
Метод, примененный в этой работе, увеличивает вероятность выделения терминов почти в два раза. Он зависит не от начального частотного распределения терминов в тексте, а от качества кластеризации. Благодаря этому, учитываются как термины с единичным вхождением, так и высокочастотные термины, равномерно распределенные по всему тексту. Средняя по частотности точность выделения терминов составила 0,8, полнота – 0,54, F-мера – 0,65.
Для проверки общности полученных результатов была проведена обработка текстов совершенно иной структуры и из другой предметной области, а именно, глав двух монографий, посвященных парусному вооружению судов [10, 12]. Несмотря на то, что лексика этих книг сильно различается (между ними полтора века), общие закономерности сохраняются. Вручную было выделено 244 термина, имеющих отношение к кораблям. Как и в экономической сфере имеется термин с очень высокой частотностью (ПАРУС – 238 вхождений, 4,4% от всех неслужебных слов). Наряду с этим 112 терминов (46%) встречаются только один раз.
При обработке по описанному выше алгоритму было найдено 158 лемм-кандидатов, из которых 152 термина. Таким образом, точность выделения терминов для судовой тематики составила 0,96, а полнота – 0,62. Этот результат показывает независимость предлагаемого метода выделения терминов от выбора конкретной предметной области. Литература Extraction of low-frequent terms from domain-specific texts
We examined the way to improve the quality of lowfrequent term recognition in scientific texts. Firstly, domain-relevant fragments were extracted from the text with the help of dependency tree. Then the fragments were clustered and candidate terms were defined using the semantic classifier. The studies suggest that this approach allows extracting unique terms as well.