This paper analyses a violation of the transitivity principle of Wikipedia category system. Causes of the violation have been analyzed on base of ontological modeling methodologies such as OntoClean. A new approach for elimination of the violation has been proposed.
Аннотация. Проведен анализ системы категорий Википедии. Показано, что в системе категорий происходит нарушение требования транзитивности, в результате чего статья из подкатегории некоторой категории может не относиться к основной категории. С помощью стандартных методов онтологического моделирования проанализированы причины нарушений транзитивности. Предложен подход к автоматическому устранению данных нарушений.
Ключевые слова: Википедия, система категорий, информационно-поисковой тезаурус, онтологическое моделирование, OntoClean, онтологическая зависимость
Система категорий — основной инструмент структурирования информации в Википедии. Категории хранят статьи, объединенные общей темой.
Категории бывают двух видов: • Категории-топики, например C:City, которая содержит статьи по городской тематике (Городское планирование, Урбанизация, История городов, Городская культура и т.д.). Труды XIX Международной конференции «Аналитика и управление данными в областях с интенсивным использованием данных» (DAMDID/ RCDL’2017), Москва, Россия, 10–13 октября 2017 года
Согласно правилам Википедии, статья должна находиться в наиболее специфичной категории в иерархии. Например статья Anton_Chekhov должна находиться не в категории C:Writers, а в ее вложенной подкатегории C:Russian_novelists через цепочку: C:Writers → C:Writers_by_nationality → C:Russian_ writers → C:Russian_novelists → Anton_Chekhov. Поэтому, чтобы получить все статьи, релевантные заданной категории, требуется извлекать статьи из всех ее вложенных подкатегорий.
В связи с этим требуется, чтобы система категорий была транзитивной: статьи из вложенных подкатегорий должны быть релевантны родительской категории. Однако требование транзитивности нарушается. Так например категория Арифметика содержит нерелевантную ей вложенную подкатегорию Расстрелянные колумбийцы: C:Arithmetic → C:Ratios → C:Rates → C:Temporal_rates → C:Acceleration → C:Force → C:Motion_(physics) → C:Flight → C:Ballistics → ... → C:Projectile_weapons → C:Firearms → C:People_associated_with_firearms → C:Shooting_victims → ... → C:Colombian_people_executed_by_firing_squad.
Цель данной статьи — проанализировать проблему нарушения транзитивности в системе категорий Википедии и предложить подход к ее решению. Она построена следующим образом. В разделе 2 кратко перечислены другие средства структурирования данных Википедии и отмечены их ограничения. В разделе 3 система категорий исследована с помощью классических методов онтологического моделирования и выявлены причины потери транзитивности. В разделе 4 предложен подход, который исправляет систему категорий, удаляя из нее нетранзитивные цепочки. В Разделе 5 описаны направления будущей работы. 2 Связанные работы
Существует множество проектов по извлечению
структурированных данных из Википедии [
Wikipedia [
Проанализируем систему категорий с помощью методологий онтологического моделирования и выявим причины потери транзитивности.
Систему категорий можно рассмотреть в
качестве тезауруса [
C:Axioms_of_set_theory; o C:Machines → C:Engines; o C:Wars → ... →
C:Wars_involving_the_Soviet_Union; o C:Fiction_books → ... → C:Dystopian_novels. • Отношение класс → экземпляр: o C:Capitals_in_Europe → C:Moscow; o C:Intergovernmental_organizations →
C:United_Nations; o C:Universities_and_colleges_in_Connecticut → C:Yale_University; o C:Operating_systems → C:Unix; o C:Fields_of_mathematics → C:Algebra; o C:Axioms_of_set_theory → C:Axiom_of_choice; o C:Abstract_strategy_games → C:Chess; o C:Engines → C:Internal_combustion_engine; o C:Wars_involving_the_Soviet_Union →
C:World_War_II; o C:Dystopian_novels → C:Nineteen_Eighty-Four; o C:Organs → C:Brain; o C:Space_stations →
C:International_Space_Station. • Отношение часть → целое: o C:Moscow →
C:Cities_and_towns_under_jurisdiction_of_Mos cow → C:Zelenograd; o C:Yale_University → C:Yale_University_Library o C:United_Nations →
C:International_Atomic_Energy_Agency; o C:World_War_II → … →
C:Attack_on_Pearl_Harbor; o C:Central_nervous_system → C:Brain; o C:Unix → C:Network_socket; o C:Internal_combustion_engine → C:Pistons. • Ассоциативные отношения: § Наука → объект изучения:
o C:Botany → C:Plants. § Агент → контрагент: o C:Plants → C:Herbicides; o C:Violence → C:Nonviolence; o C:Communism → C:Anti-communism. § Величина → инструмент для измерения: o C:Temperature → C:Thermometers. § Деятельность → агент деятельности: o C:Hunting → C:Hunting_dogs; o C:Military → C:Military_personnel. § Сырье → результат: o C:Grape → C:Raisins; o C:Petroleum → C:Petroleum_products →
Gasoline; o C:Textiles → C:Textile_arts → C:Weaving. § Другие ассоциативные отношения: o C:Death → C:Death_customs → C:Funerals; o C:Automobiles → C:Auto_racing; o C:Books → C:Book_arts → C:Bookbinding. Мета-категориям соответствует так называемые «Node labels».
Задача нахождения релевантных подкатегорий для заданной категории соответствует стандартной задаче расширения поискового запроса (query expansion).
Представив систему категорий в виде тезауруса,
мы применили к ней формальную методологию
проверки корректности онтологий OntoClean, а
также методологию построения
информационнопоисковых тезаурусов [
C:Chairs → C:Electric_chairs. • Ошибки с использованием омонимичных категорий: o Музыкальные чарты попали в Диаграмы: C:Diagrams → C:Charts → C:Record_charts. В одном случае C:Charts использовались в значении диаграмм, а в другом – в значении музыкальных чартов. o Строительство кораблей попало в Недвижимость: C:Real_estate → C:Construction → C:Ship_construction. • Использование одного понятия в разных смыслах: o Электронная библиотека Lib.ru попала в категорию Здания: C:Buildings_and_structures → C:Buildings_and_structures_by_type → C:Libraries → C:Digital_libraries → Lib.ru. В одном случае Библиотека рассматривалась как тип здания, а в другом – как социальный институт. o Философское мировоззрение Нигилизм попало в категорию Биология: C:Biology → C:Life → C:Philosophy_of_life → C:Nihilism. В одном случае Жизнь рассматривалась как o Снег попал в Жидкости: C:Liquids →
C:Water → C:Forms_of_water → C:Snow. В одном случае Вода рассматривалась как вещество вообще, а в другом – как вещество в жидком агрегатном состоянии. • Несовместимые критерии идентичности: o Мусульманская святыня Кааба попала в категорию Математические объекты: C:Mathematical_objects → C:Geometric_shapes → C:Elementary_shapes → C:Cubes → C:Cubic_buildings → C:Kaaba. Ошибка находится в цепочке C:Cubes → C:Cubic_buildings. Кубические здания, вообще говоря, не являются кубами, т. к. у них разные критерии идентичности. Куб — это абстрактный, вневременной, неизменный объект. Если куб изменится хотя-бы на миллиметр, то это будет уже другой куб. Кубическое же здание — это конкретный объект, существующий во времени и пространстве и сохраняющий идентичность при небольших модификациях. o Бермудский треугольник попал в категорию Геометрические объекты: C:Mathematical_objects → C:Geometric_shapes → C:Elementary_shapes → C:Triangles → Bermuda_Triangle. • Смешение понятия и знака: • Наследование типов от ролей: o Династия Габсбургов попала в категорию Слова и фразы: C:Words_and_phrases → ... → C:Surnames_of_Swiss_origin → C:Swiss_families → C:Swiss_noble_families → C:House_of_Habsburg. o Токсин попал в категорию Язык:
C:Language → C:Terminology → C:Biology_terminology → Toxin. Причина ошибки в том, что токсин не является термином. Термином является слово “токсин”. o Анальгетики попали в категорию Запрещенные наркотики: C:Illegal_drugs → C:Morphine → C:Analgesic. Причина ошибки в том, что Запрещенные наркотики — это не тип, а роль, и она не должна содержать категории-типы. o Бомбовые прицелы попали в категорию Офисные принадлежности: C:Office_equipment → C:Computers → … → C:Analog_computers → …→
C:Optical_bombsights. o Волчья ягода (несъедобная) попала в категорию Еда: C:Foods → C:Fruit → C:Berries → C:Sambucus.
В следующих случаях транзитивность нарушается не вследствие ошибки, а вследствие самого принципа построения системы категорий Википедии: • Нетранзитивность отношения класс → экземпляр: o Корабль «Санта-Мария» попал в категорию Типы кораблей: C:Ship_types → ... →
C:Exploration_ships → Santa_María_(ship). o Поэма под названием «Ода» попала в категорию Жанры литературы: C:Literary_genres → C:Poetry → ... → Ode_(poem). Этот случай особенно опасен, т. к. существует настоящий литературный жанр с таким именем. • Нетранзитивность ассоциативного отношения: o Город Зеленоград попал в Европейские столицы: C:Capitals_in_Europe →
C:Moscow → … → C:Zelenograd. o Собака Блонди попала в категории Нацистсиких лидеров: C:Nazi_leaders →
C:Adolf_Hitler → Blondi. o Галактическая Империя из вымышленной вселенной «Звездных войн» попала в категорию Североамериканские государства: C:Northern_American_countries → C:United_States → C:American_people → … → C:George_Lucas → C:Star_Wars → … → Galactic_Empire_(Star_Wars). o Языки Джибути попали в категорию Статистика: C:Statistics → C:Statistical_data_sets → C:Demographics_by_country → C:Demographics_of_Djibouti →
C:Languages_of_Djibouti. o Биологическое оружие попало в категорию Трудовое право: C:Labour_law → C:Labour_relations → C:Occupational_safety_and_health →
C:Toxicology → C:Biological_weapons. o Расстрелянные колумбийцы попали в категорию Арифметика: C:Arithmetic → C:Ratios → C:Rates → C:Temporal_rates → C:Acceleration → C:Force → C:Motion_(physics) → C:Flight → C:Ballistics → … → C:Projectile_weapons → C:Firearms → C:People_associated_with_firearms → C:Shooting_victims → ... →
C:Colombian_people_executed_by_firing_squad Итак, нарушение транзитивности в системе категорий Википедии вызвано двумя группами причин. К первой группе относятся причины, связанные с нарушением правил построения иерархии концептов в онтологии. Эти нарушения могут быть устранены самими авторами Википедии. Ко второй группе относятся причины, связанные с самим принципом устройства системы категорий Википедии, главная из которых — нетранзитивность ассоциативного отношения. 4 Подход к устранению нарушений транзитивности
В данном разделе мы предложим метод, который устраняет не транзитивные цепочки и оставляет только транзитивные. 4.1. Основная идея (и ее теоретическое обоснование)
Как было показано в предыдущем разделе, одна из основных причин нарушения транзитивности состоит в том, что некоторые категории связаны с подкатегориями ассоциативным отношением, которое в общем случае не является транзитивным.
Существующие методы извлечения структурированной информации из системы категорий (например, YAGO или WikiTaxonomy) выявляют ассоциативные связи между категориями и просто устраняют их. Недостатком данных методов является то, что они исключают даже те ассоциативные связи, которые не нарушают транзитивность. В связи с этим возникает потребность в методе, который устраняет ассоциативные отношения, нарушающие транзитивность (например, Статистика → Демография), но сохраняет не нарушающие (например, Образование → Учитель). Опишем основные принципы этого метода.
Предлагаемый метод основан на подходе,
который применяется в тезаурусе РуТез для
установления ассоциативных отношений между концептами
[
Для формализации отношения онтологической
зависимости [
Модально-экзистенциональный подход имеет ряд преимуществ, среди которых — простота и математическая строгость. Недостатком этого подхода является то, что его применение требует участия человека. В связи с этим в исходном виде он не применим для решения поставленной нами задачи.
Кроме того, модально-экзистенциональный
подход был подвергнут критике с чисто онтологической
точки зрения. К. Файн (Kit Fine) показал, что
данный подход является слишком грубым
приближением к понятию онтологической зависимости и имеет
ряд контрпримеров [
Таким образом, использовав эссенциальный подход, мы получили следующий критерий определения онтологической зависимости: X онтологически зависит от Y, если Y неустранимым образом входит в определение X. Данный критерий гораздо лучше подходит для автоматического применения.
В качестве аппроксимации определения объекта, соответствующего той или иной категории, мы брали аннотации главной статьи данной категории и этой статьи на других языках. Факт вхождения объекта в определение другого объекта моделировался как наличие гиперссылки между определениями. 4.2. Опыт реализации
Экспериментальная реализация предложенного
подхода выглядит следующим образом:
• Определяем, является ли отношение между
категорией и ее подкатегорией ассоциативным.
Полагаем, что отношение является ассоциативным,
если в нем участвует категория-топик. Тип
категории определяем с помощью метода из проекта
WikiTaxonomy [
Мы провели предварительное оценивание
нашего метода на категории C:Mathematics. Выбор этой
категории был обусловлен решением практической
задачи по связыванию онтологии OntoMathPro
[4850] с DBpedia [
F1 score 4281 2136 650 1010 485 0,814956 0,678957 0,740766 5 Заключение
Мы проанализировали причины нарушения транзитивности в системе категорий Википедии и предложили подход к их устранению.
В дальнейшем мы планируем доработать данный подход. В частности, предполагается извлекать определения из других страниц категории, а также использовать контекст ссылки внутри определения.
Мы планируем применить разработанный подход для извлечения тезауруса из системы категорий Википедии. В отличии от тезаурусов, построенных вручную (таких как РуТез или WordNet), данный тезаурус будет содержать не только общие понятия, но и большое число именованных сущностей. В отличии от других тезаурусов, автоматически извлеченных их системы категорий Википедии, данный тезаурус будет содержать не только иерархические отношения, но и подмножество ассоциативных отношений, сохраняющих свойство транзитивности.
Извлеченный тезаурус будет интегрирован в
RuThes Cloud, многоуровневый ресурс
Лингвистических открытых связанных данных (LLOD) для
русского языка и языков народов России [
Благодарности. А. Кириллович благодарит проф. Сорена Ауэра (Sören Auer) из Боннского университета (Universität Bonn) за доброжелательность и ценные советы на ранней стадии работы над данным проектом.
Работа выполнена за счет средств субсидии, выделенной Казанскому федеральному университету для выполнения гос. задания в сфере научной деятельности, проект 1.2368.2017/ПЧ, а также при поддержке правительственной программы повышения конкурентоспособности Казанского федерального университета.