В настоящей работе описан эксперимент по разметке коллекции новостных текстов с целью оценить эффективность подхода к извлечению информации о ситуациях отставки-назначения в системе ИСИДА-Т. Система ИСИДА-Т разрабатывается в ИПС РАН в течение нескольких лет и реализует инженерный подход к извлечению информации из текстов. В данной статье описывается попытка реализации подхода, описание тестовой коллекции, а также приводятся полученные рузультаты.
В ИЦИИ ИПС РАН в рамках проекта
ИСИДАТ[1],[6],[7] ведѐтся работа по извлечению из
новостных текстов информации о ситуациях
назначения-отставки. На RCDL-2012 был
представлен доклад о концепции извлечения
информации о ситуациях отставки-назначения в
рамках инженерного подхода, реализуемого в
системе ИСИДА-Т [
Легко заметить, что в новостных текстах далеко не всегда упоминаются все три участника ситуации. Чаще всего попадаются контексты с 2 участниками. И почти никогда не упоминается дата события. Кроме того, ситуация может быть описана не одним предложением, а несколькими (см. пример 2). То есть в тексте может не содержаться исчерпывающая информация о ситуации. А в отдельном предложении это вообще встречается редко. Таким образом, построить полную картину, ограничившись рамками одного предложения, практически невозможно. Более того, в тексте может говориться о возможной ситуации ситуации, которая не произошла в действительности, и, возможно, не произойдѐт (например: на заседании речь шла о возможной отставке министра образования).
При разметке ситуаций назначения-отставки в текстах коллекции для экспериментальной работы необходимо чѐтко представлять, что будет считаться ситуацией. Под текстовой ситуацией мы будем понимать ситуацию, описанную в одном предложении (возможно, не произошедшую в действительности, но просто упомянутую в тексте) и выраженную с помощью целевого слова-маркера ситуации (слова, называющего ситуацию, – уволил, назначил, отставка, назначив и т.п.) и именных групп, описывающих участников ситуации. При этом мы исходим из предположения, что участники расположены контактно справа и слева от маркера ситуации (между участником и словом-ситуацией допускаются наречия, указания на время, частицы). Наша задача – максимально полно и точно извлечь информацию из текстовых ситуаций, то есть определить слово-ситуацию, собрать всех участников и правильно распределить роли. В дальнейшем, располагая информацией о текстовых ситуациях в разных предложениях текста и зная их последовательность, мы сможем приблизиться к полной информации о внетекстовой ситуации.
В силу особенностей работы всех модулей системы ИСИДА-Т не размечаются и не включаются в общую группу ситуации: - если хотя бы один из участников выражен именной группой с главным словом во множественном числе, - если хотя бы один из участников выражается несколькими синтаксически однородными именными группами (уволил Иванова и Петрова), - в случае эллипсиса (Иванова назначили директором, а Петрова – его заместителем), - при наличии отрицания у целевого слова. Конструкции с модальными глаголами с учѐтом определения текстовой ситуации учитываются и размечаются. Итогом извлечения информации о текстовой ситуации должен стать набор отношений, связывающих ситуацию, обозначенную в тексте словом-маркером, и еѐ участников, выраженных в тексте именными группами. Рассмотрим пример: Президент Украины Виктор Янукович отправил в отставку премьер-министра Николая Азарова. В результате работы модуля информации о ситуации должен следующий набор отношений (см. рис. 1) извлечения получиться Рис.1. Представление информации, полученное в результате работы модуля анализа ситуаций Какой уже извлечѐнной информацией мы можем располагать перед началом работы модуля извлечения ситуаций? Про каждое слово в предложении известна его морфологические характеристики, с помощью ресурса знаний системы ИСИДА-Т[6],[8] и специального модуля извлечения имѐн построены специальные аннотации для имѐн людей (включая разбиение на имя, отчество и фамилию), названий должностей, организаций, геополитических единиц. Отдельными аннотациями помечаются временные указатели (включая составные – например, вчера вечером, в следующем году и т.п.). Возможности синтаксического анализатора системы ИСИДА-Т ограничиваются анализом именных групп с зависимыми прилагательными или существительными в родительном падеже, а также с приложениями, включая предложные группы, в которые могут входить более простые именные группы. Для каждого слово известны его графематические характеристики (написано с большой или маленькой буквы, латинский или русский шрифт – вся информация о написании слова в тексте.)
Основная идея описываемого подхода – извлечь всѐ, что возможно извлечь из текста средствами локального микросинтаксиса и информацией об извлечѐнных сущностях.
Есть ―ядерные‖ вещи, которые можно
классифицировать и систематизировать, а есть
словарно-текстовые, которые надо будет задать
списком. Конечно, есть контексты с текстовыми
ситуациями, которые средствами системы
ИСИДАТ не могут быть обработаны. Например, такие:
1. им стал долгое время проработавший
руководителем клиники, в Москве,
заведующий кафедры ортопедической
стоматологии факультета
последипломного образования Московского
государственного
медико-стоматологического университета им.
А.И.Евдокимова, доктор медицинских наук,
профессор, человек, который знает
дагестанскую и современную мировую
медицину — Танка Ибрагимов – анализ
именной группы, которая называет
участника ситуации получения должности,
выходит за рамки возможностей
синтаксического анализатора системы
ИСИДА-Т.
2. Президент Украины Виктор Янукович сменил
главу Центрального управления Службы
безопасности страны, назначив на этот
пост человека, якобы близкого к своему
сыну – в данном примере участник отделѐн
от слова-ситуации НАЗНАЧИВ
синтаксическими группами, которые не
являются участниками ситуации.
В разметке участвовали следующие ситуации:
Аннотация разметки, атрибуты которой
сравниваются с результатами, полученными в ходе
обработки текста, содержит следующие атрибуты:
1. Situation – название ситуации
2. first – первый участник (при разметке сюда
записывается главное слово именной
группы, соответствующей по значению
данному участнику ситуации);
3. second – второй участник;
4. third – третий участник.
Если в текстовой ситуации нет информации о
каком-либо из участников, соответствующий
атрибут остаѐтся незаполненным.
См. на рисунке 2 пример аннотации разметки:
Рис.2. Пример аннотации разметки.
Одной из основных задач при разметке и
тестировании коллекции текстов было оценить,
какой результат мы сможем получить при
существующих возможностях системы для
текстовых ситуаций. Принципы разметки ситуаций
для тестирования примерно соотвествуют
принципам разметки событий ACE [
I. Основные. Атомарные 1.Именные группы с главным словом ПОСТ, ДОЛЖНОСТЬ, КРЕСЛО, МЕСТО + название должности или + местоимение ЕГО, ЕЁ, СВОЙ, ЭТОТ; 2.Именная группа – имя человека; 3.Именная группа – название должности 4.Именные группы, устроенные особым образом и выражающие первого участника (решением президента, по распоряжению правительства и т.п.) II. Основные. Неатомарные 1. Имя + должность (могут называть 2-го и 3-го участников), при этом должность может называть прежнее место работы III. Вспомогательные. Именные группы – фиксированные выражения при ситуациях назначения-отставки (задаются списком) – по собственному желанию, по собственной инициативе и т.п.
IV. Дополнительные 1. Именные группы – указание на время 2. Именные предложные группы с
указанием на организацию Кроме общей классификации, отдельными пометами снабжаются такие слова в именных группах, которые помогают правильно распределить участников ситуации. Это, например, прилагательные - бывший, новый, экс-, действующий.
В следующих двух таблицах представлены слова-маркеры ситуаций и участники, наличие которых обязательно для формирования контекста ситуации (обязательные участники). Отбор таких слов проводился эмпирически на основе анализа текстов об отставках и назначениях на новостных порталах в сети Интернет. Конечно, такой список не может описывать всѐ языковое многообразие конструкций, описывающих целевые ситуации, но, безусловно, включает в себя самые частотные и типичные языковые выражения. Ситуации с тремя участниками - @назначение, @увольнение которых в следующих фазах будет записываться информация об участниках. Эти аннотации также играют роль маркера для фаз, в которых происходит поиск потенциальных участников ситуации Построение аннотаций для потенциальных участников, выраженных нестандартными конструкциями Построение аннотаций для ключевых слов – 2-й этап
AVerb – аннотация, маркирующая ситуацию Построение аннотаций для участников ситуаций, расположенных непосредственно справа и слева от целевого слова Построение аннотаций AALink – аннотации для участников для именных групп – ситуаций, потенциальных расположенных справа участников ситуации, или слева от которые выделяются участников, справа и слева от определѐнных в фазе 4 аннотаций AALink, построенных правилами фазы 4 (эти аннотации включают в себя аннотации AALink, построенные ранее) Построение аннотаций для участников ситуаций,
AALink – аннотации для именных групп – потенциальных расположенных справа участников ситуации, или слева от которые выделяются участников, справа и слева от определѐнных в фазе 5 аннотаций AALink, построенных правилами фазы 5 (эти аннотации включают в себя аннотации AALink, построенные ранее) 7 8 9 Добавление в аннотации AVerb атрибутов, соответствующих найденным потенциальным участникам (обязательные участники) Добавление в аннотацию AVerb атрибутов, соответствующих найденным потенциальным участникам (только для тех целевых слов, у которых на предыдущем этапе был опознан обязательный участник или обязательный участник не нужен) Определение отношений между целевым словом и найденным участником ситуации (первый участник, второй участник, третий участник) Аннотация AVerb получает новые атрибуты Аннотация AVerb получает новые атрибуты ALink – аннотации, которые задают отношение между словом, маркирующим ситуацию, и участником, – приписывание номера участнику ситуации Рассмотрим работу алгоритма на примере Советником Шойгу стала телеведущая Мария Китаева. Эталон разметки выглядит так: Рис. 3 Эталон разметки для разбираемой ситуации. Результат работы фазы 1: Рис.4. Построение аннотации AVerb, соответствующей слову-маркеру ситуации. Построена аннотация AVerb, в атрибутах которой есть ссылка на ситуацию, которую маркирует эта аннотация ( в данном примере - @получение должности), есть атрибут, по ссылке из которого можно попасть в аннотацию, где хранится информация обо всех морфологических характеристиках слова. Следующий рисунок – результат работы фазы 4 ( правила фаз 2 и 3 в данном контексте не работают) Рис.5. Построение аннотаций AALink, соответствующих именным группам участников ситуации. В результате работы правил 4-й фазы построились две аннотации класса AALink – соответственно слева и справа от слова-маркера ситуации. Эти аннотации соотносятся с именными группами ―Советником Шойгу‖ и ―телеведущая Мария Китаева‖. Рис.6. Добавление атрибутов в аннотацию AVerb. Рисунок 6 иллюстрирует результат работы правил фаз 7 и 8, когда в аннотацию слова-маркера ситуации добавляются атрибуты-ссылки на найденные именные группы потенциальных участников. При этом названия атрибутов отражают падеж и некоторые другие важные для дальнейшей работы характеристики. В разбираемом примере это Part_I (―телеведущая‖), Part_I_name (―Мария Китаева‖), Part_T(―Советником‖).
На следующих двух рисунках показаны аннотации ALink, которые построены правилами последней, 9-й, фазы и соответствуют отношениям между словом-маркером ситуации и словом из именной группы, указывающим непосредственно на участника ситуации. Атрибут DomRel показывает номер участника ситуации, атрибут Situation – название ситуации, атрибуты Master и Slave – это ссылки на слово-маркер ситуации и на слово, обозначающее участника. Рис.7. Построение аннотации ALink, моделирующей отношение между словом-маркером ситуации и еѐ 2-м участником. Рис.8. Построение аннотации ALink, моделирующей отношение между словом-маркером ситуации и еѐ 3-м участником. Наконец, на рисунке 9 приведѐн результат работы алгоритма извлечения информации о ситуации: Точность Полнота F-мера 0,76 0,72 0,74 Рис.9. Графическое представление результатов извлечения. 6 Результаты тестирования работы алгоритма на размеченной коллекции.
Для проверки эффективности работы системы была размечена тестовая коллекция из 231 текста (тексты взяты на новостных порталах в сети Интернет). В текстах встретились и были размечены описанным выше способом 868 ситуаций отставкиназначения. Результаты тестирования приведены в таблице ниже:
При оценке результатов необходимо иметь в виду, что данные по всем трѐм оценкам приводятся по ситуациям, у которых при анализе атрибуты полностью совпали с атрибутами эталона.
По всей видимости, данные результаты отражают технологический предел возможностей системы ИСИДА-Т на данном этапе разработки. На результат анализа ситуаций оказывают влияние эффективность работы алгоритма выявления имѐн (F-мера – 0,95), а также особенности синтаксических конструкций, задающих ситуации. Заключение
Extracting information on appointments and dismissals from news texts. An experience in developing an annotated corpus. Testing results.
Natalia Vlasova The paper describes an experiment on annotating a collection of Russian-language news texts for an information extraction task. The objective was to evaluate the efficiency of an approach to solving the appointment-dismissal task, which is implemented in the ISIDA-T software. ISIDA-T has been developed during the past decade in the Program Systems Institute, RAS. It is based on a knowledge-engineering approach to information extraction. The paper describes the implementation of information extraction method, the annotation principles, the test collection, and presents some evaluation results.