=Paper=
{{Paper
|id=Vol-1108/paper6
|storemode=property
|title=Извлечение информации о ситуациях отставок-назначений в новостных текстах. Опыт разметки коллекции. Результаты тестирования
(Extracting Information on Appointments and Dismissals from News Texts. An Experience in Developing an Annotated Corpus. Testing Results)
|pdfUrl=https://ceur-ws.org/Vol-1108/paper6.pdf
|volume=Vol-1108
|dblpUrl=https://dblp.org/rec/conf/rcdl/Vlasova13
}}
==Извлечение информации о ситуациях отставок-назначений в новостных текстах. Опыт разметки коллекции. Результаты тестирования
(Extracting Information on Appointments and Dismissals from News Texts. An Experience in Developing an Annotated Corpus. Testing Results)
==
https://ceur-ws.org/Vol-1108/paper6.pdf
Извлечение информации о ситуациях отставок-назначений в новостных
текстах. Опыт разметки коллекции. Результаты тестирования.
© Н.А.Власова
Исследовательский Центр Искусственного Интеллекта
Института Программных Систем РАН имени А.К.Айламазяна,
г. Переславль-Залесский
nathalie.vlassova@gmail.com
Аннотация
Прежде всего необходимо определить, что же
В настоящей работе описан эксперимент по будет считаться ситуацией, информация о которой
разметке коллекции новостных текстов с целью должна быть извлечена из текста. Будем различать
оценить эффективность подхода к извлечению текстовую ситуацию и ситуацию внетекстовую.
информации о ситуациях отставки-назначения в Внетекстовая ситуация – это ситуация,
системе ИСИДА-Т. Система ИСИДА-Т произошедшая во внеязыковой действительности.
разрабатывается в ИПС РАН в течение нескольких Например, факт, что 19 апреля 2013 года
лет и реализует инженерный подход к извлечению правительство России отправило в отставку
информации из текстов. В данной статье руководителя ―Почты России‖ Александра
описывается попытка реализации подхода, Киселѐва, - это факт из внеязыковой
описание тестовой коллекции, а также приводятся действительности. В ситуации увольнения – три
полученные рузультаты. участника:
1 Введение кто уволил (Правительство России) – 1-й участник,
В ИЦИИ ИПС РАН в рамках проекта ИСИДА- кого уволил (Александра Киселѐва) – 2-й участник,
Т[1],[6],[7] ведѐтся работа по извлечению из
новостных текстов информации о ситуациях с какой должности (руководителя ―Почты России‖)
назначения-отставки. На RCDL-2012 был – 3-й участник.
представлен доклад о концепции извлечения
информации о ситуациях отставки-назначения в Вне текста наше знание о ситуации базируется на
рамках инженерного подхода, реализуемого в информации о еѐ участниках и отношениях между
системе ИСИДА-Т [11]. Для экспериментальной ними. В текстах об этом событии может быть
оценки эффективности данной разработки была рассказано по-разному:
размечена коллекция из 231 документа (новостные
1. Решение об отставке руководителя "Почты
сообщения), в которых встречается 868 ситуаций
России" правительством принято.
отставки-назначения. Была проведена настройка
системы правил, более детально проработаны 2. Правительство России приняло решение
контексты, описывающие целевые ситуации, и об отставке главы "Почты России" Александра
отлажено программное обеспечение. Были Киселѐва
получены первые числовые данные, позволяющие
судить об эффективности работы системы при 3. Бывший глава «Почты России» Александр
извлечении ситуаций. При написании статьи были Киселев получит после отставки с должности
учтены вопросы и замечания, полученные автором более 3 миллионов рублей,
на RCDL-2012.
4. На фоне коллапса, возникшего в работе «Почты
2 Понятие текстовой ситуации и России», правительство отправило в отставку
генерального директора предприятия Александра
принципы разметки текстов. Исходные
Киселѐва
данные для анализа ситуаций
Труды 15-й Всероссийской научной конференции 5. Александр Киселев, об отставке которого с
«Электронные библиотеки: перспективные методы и поста генерального директора «Почты России»
технологии, электронные коллекции» — RCDL-2013,
Ярославль, Россия, 14-17 октября 2013 г.
42
стало известно 19 апреля, получит после Наша задача – максимально полно и точно
увольнения чуть более трех миллионов рублей. извлечь информацию из текстовых ситуаций, то есть
определить слово-ситуацию, собрать всех
6. Отставку Александра Киселева спровоцировал участников и правильно распределить роли. В
«посылочный коллапс» в аэропортах московского дальнейшем, располагая информацией о текстовых
авиаузла. ситуациях в разных предложениях текста и зная их
последовательность, мы сможем приблизиться к
7. Александр Киселев в ближайшее время может
полной информации о внетекстовой ситуации.
покинуть пост главы «Почты России»
В силу особенностей работы всех модулей
8. За что увольняют директора ―Почты России‖
системы ИСИДА-Т не размечаются и не
Александра Киселѐва?
включаются в общую группу ситуации:
9. Александр Киселев, уволенный с поста
- если хотя бы один из участников выражен именной
генерального директора "Почты России", после
группой с главным словом во множественном числе,
ухода в отставку получит золотой парашют на 3
млн рублей. - если хотя бы один из участников выражается
несколькими синтаксически однородными
10. Уволен глава ―Почты России‖
именными группами (уволил Иванова и Петрова),
(все примеры взяты с новостных порталов в сети
- в случае эллипсиса (Иванова назначили
Интернет)
директором, а Петрова – его заместителем),
Легко заметить, что в новостных текстах далеко
- при наличии отрицания у целевого слова.
не всегда упоминаются все три участника ситуации.
Чаще всего попадаются контексты с 2 участниками. Конструкции с модальными глаголами с учѐтом
И почти никогда не упоминается дата события. определения текстовой ситуации учитываются и
Кроме того, ситуация может быть описана не одним размечаются.
предложением, а несколькими (см. пример 2). То
есть в тексте может не содержаться исчерпывающая Итогом извлечения информации о текстовой
информация о ситуации. А в отдельном ситуации должен стать набор отношений,
предложении это вообще встречается редко. Таким связывающих ситуацию, обозначенную в тексте
образом, построить полную картину, словом-маркером, и еѐ участников, выраженных в
ограничившись рамками одного предложения, тексте именными группами. Рассмотрим пример:
практически невозможно. Более того, в тексте
может говориться о возможной ситуации - Президент Украины Виктор Янукович отправил в
ситуации, которая не произошла в отставку премьер-министра Николая Азарова.
действительности, и, возможно, не произойдѐт
В результате работы модуля извлечения
(например: на заседании речь шла о возможной
информации о ситуации должен получиться
отставке министра образования).
следующий набор отношений (см. рис. 1)
При разметке ситуаций назначения-отставки в
текстах коллекции для экспериментальной работы
необходимо чѐтко представлять, что будет считаться
ситуацией. Под текстовой ситуацией мы будем
понимать ситуацию, описанную в одном
предложении (возможно, не произошедшую в
действительности, но просто упомянутую в тексте)
и выраженную с помощью целевого слова-маркера
ситуации (слова, называющего ситуацию, – уволил,
назначил, отставка, назначив и т.п.) и именных
групп, описывающих участников ситуации. При
этом мы исходим из предположения, что участники
расположены контактно справа и слева от маркера
ситуации (между участником и словом-ситуацией Рис.1. Представление информации, полученное в
допускаются наречия, указания на время, частицы). результате работы модуля анализа ситуаций
43
Какой уже извлечѐнной информацией мы можем пост человека, якобы близкого к своему
располагать перед началом работы модуля сыну – в данном примере участник отделѐн
извлечения ситуаций? Про каждое слово в от слова-ситуации НАЗНАЧИВ
предложении известна его морфологические синтаксическими группами, которые не
характеристики, с помощью ресурса знаний системы являются участниками ситуации.
ИСИДА-Т[6],[8] и специального модуля извлечения
имѐн построены специальные аннотации для имѐн В разметке участвовали следующие ситуации:
людей (включая разбиение на имя, отчество и
@увольнение, @назначение,
фамилию), названий должностей, организаций,
@получение_должности, @уход_с_поста.
геополитических единиц. Отдельными аннотациями
помечаются временные указатели (включая Аннотация разметки, атрибуты которой
составные – например, вчера вечером, в следующем сравниваются с результатами, полученными в ходе
году и т.п.). Возможности синтаксического обработки текста, содержит следующие атрибуты:
анализатора системы ИСИДА-Т ограничиваются
анализом именных групп с зависимыми 1. Situation – название ситуации
прилагательными или существительными в 2. first – первый участник (при разметке сюда
родительном падеже, а также с приложениями, записывается главное слово именной
включая предложные группы, в которые могут группы, соответствующей по значению
входить более простые именные группы. Для данному участнику ситуации);
каждого слово известны его графематические 3. second – второй участник;
характеристики (написано с большой или маленькой 4. third – третий участник.
буквы, латинский или русский шрифт – вся
информация о написании слова в тексте.) Если в текстовой ситуации нет информации о
каком-либо из участников, соответствующий
Основная идея описываемого подхода – извлечь атрибут остаѐтся незаполненным.
всѐ, что возможно извлечь из текста средствами
локального микросинтаксиса и информацией об См. на рисунке 2 пример аннотации разметки:
извлечѐнных сущностях.
Есть ―ядерные‖ вещи, которые можно
классифицировать и систематизировать, а есть
словарно-текстовые, которые надо будет задать
списком. Конечно, есть контексты с текстовыми
ситуациями, которые средствами системы ИСИДА-
Т не могут быть обработаны. Например, такие:
Рис.2. Пример аннотации разметки.
1. им стал долгое время проработавший
руководителем клиники, в Москве, Одной из основных задач при разметке и
заведующий кафедры ортопедической тестировании коллекции текстов было оценить,
стоматологии факультета после- какой результат мы сможем получить при
дипломного образования Московского существующих возможностях системы для
государственного медико-стомато- текстовых ситуаций. Принципы разметки ситуаций
логического университета им. А.И.Ев- для тестирования примерно соотвествуют
докимова, доктор медицинских наук, принципам разметки событий ACE [13] в том, что
профессор, человек, который знает помечаются ключевые слова и они могут быть
дагестанскую и современную мировую выражены не только глаголом в личной форме, но и
медицину — Танка Ибрагимов – анализ отглагольным существительным, причастием,
именной группы, которая называет деепричастием, помечаются целиком участники.
участника ситуации получения должности, Отличия же заключаются в том, что не размечаются
выходит за рамки возможностей ситуации, обозначенные местоимением (например,
синтаксического анализатора системы она (отставка) произошла сегодня утром).
ИСИДА-Т.
2. Президент Украины Виктор Янукович сменил
главу Центрального управления Службы
безопасности страны, назначив на этот
44
3 Классификация слов-маркеров Уход_в_отставку уход, уйти, уходить
ситуации покинуть, покидать
Ниже приводятся слова, которые маркируют
оставить, оставлять
ситуации, участвующие в разметке и тестировании:
лишиться, лишаться
Ситуация Слова-маркеры
подать, подавать (в
Увольнение увольнение, уволить,
отставку)
увольнять
сложить, складывать
снятие, снять, снимать
(полномочия)
освобождение,
освободить,
освобождать В следующей таблице приведена классификация
контекстов со словом-маркером ситуации в
отстранение,
зависимости от формы этого слова:
отстранить, отстранять
Форма целевого слова Образец (на
отправить, отправлять
примере глагола
(в отставку)
увольнять)
прекратить, прекращать
1 Глагол в личной форме Уволил, увольняет и
(полномочия)
(в единственном числе) т.п.
Назначение назначение, назначить,
2 Возвратный глагол Уволился
назначать
Переназначение, 3 Глагол в 3 лице мн.числа Уволили, увольняют
переназначить,
4 Глагол в инфинитиве Уволить (например,
переназначать
в приказе или с
ставить модальным
глаголом)
поставить
5 Причастие Уволивший,
утверждение, действительное увольняющий (оч.
утвердить, утверждать редко)
Получение_должности стать, становиться 6 Причастие Уволенный,
страдательное увольняемый
сохранить
7 Отглагольное увольнение
занять существительное
получение, получить, 8 Деепричастие Уволив, увольняя
получать
9 Относительное Иванов, который
назначаться предложение уволил
приход, придти,
приходить (на
должность) 4 Классификация участников ситуации
Быть (формы будущего Прежде всего, нужно определить, какие
времени) именные группы будут считаться участниками
ситуации. Помимо именных групп, которые задают
непосредственно участников ситуаций, - это
45
именные группы, которые могут находиться между 2. Именные предложные группы с
целевым словом и именной группой основного указанием на организацию
участника. В свою очередь такие группы делятся на
вспомогательные (они нужны для того, чтобы
целевое слово указывало на ситуацию, например, Кроме общей классификации, отдельными
глагол уйти обозначает ситуацию пометами снабжаются такие слова в именных
@уход_в_отставку только при наличии зависимой группах, которые помогают правильно
именной группы с главным словом ОТСТАВКА) и распределить участников ситуации. Это,
дополнительные (например, указание на время, например, прилагательные - бывший, новый,
место, организацию – такая информация не экс-, действующий.
относится к основным участникам, но при этом
В следующих двух таблицах представлены
такие именные группы могут отделять группу
слова-маркеры ситуаций и участники, наличие
основного участника от целевого слова). Кроме
которых обязательно для формирования
того, основные участники делятся на атомарные и
контекста ситуации (обязательные участники).
неатомарные группы. Атомарные именные группы
Отбор таких слов проводился эмпирически на
указывают на одного основного участника
основе анализа текстов об отставках и
ситуации, а неатомарные – на двух. Например:
назначениях на новостных порталах в сети
1. Директор предприятия Виктор Сергеев Интернет. Конечно, такой список не может
уволил своего заместителя Романа описывать всѐ языковое многообразие
Николаева. конструкций, описывающих целевые ситуации,
2. Сегодня был уволен заместитель директора но, безусловно, включает в себя самые
Роман Николаев. частотные и типичные языковые выражения.
В рассматриваемых примерах 2-й (кого уволили) и Ситуации с тремя участниками - @назначение,
3-й (с какой должности) участники выражены в @увольнение
одной именной группе.
Целевое слово Обязательный
Итак, ниже приводится классификация участников участник
ситуаций отставки-назначения:
Уволить, увольнять, -
I. Основные. Атомарные увольнение
1. Именные группы с главным словом ПОСТ,
ДОЛЖНОСТЬ, КРЕСЛО, МЕСТО + Снять, снимать, снятие должность
название должности или + местоимение
Отправить, отправлять отставка
ЕГО, ЕЁ, СВОЙ, ЭТОТ;
2. Именная группа – имя человека; прекратить полномочия
3. Именная группа – название должности
4. Именные группы, устроенные особым образом Освободить, - должность
и выражающие первого участника освобождать,
(решением президента, по распоряжению освобождение
правительства и т.п.)
II. Основные. Неатомарные Отстранить, отстранять, должность
1. Имя + должность (могут называть 2-го и 3-го отстранение
участников), при этом должность может
Назначить, назначать, Должность,
называть прежнее место работы
назначение, организация или
III. Вспомогательные. Именные группы –
переназначить геополитическая
фиксированные выражения при
единица
ситуациях назначения-отставки
(задаются списком) – по собственному
Поставить, ставить Должность, организация
желанию, по собственной инициативе
или геополитическая
и т.п.
единица
IV. Дополнительные
1. Именные группы – указание на время утвердить должность
46
которых в следующих
фазах будет
Ситуации с двумя участниками (первый никогда не записываться
выражен при данных целевых словах) – информация об
@получение_должности, @уход_в_отставку. участниках. Эти
аннотации также
Целевое слово Обязательный участник
играют роль маркера
Стать, становиться должность для фаз, в которых
происходит поиск
Сохранить, сохранять, должность потенциальных
сохранение участников ситуации
Получить, получать, должность 2 Построение аннотаций UKAZ – аннотация
получение для потенциальных для именных групп с
участников, главным словом
Быть должность выраженных ―указ‖, ―решение‖,
нестандартными ―распоряжение‖ и т.п.
назначаться должность конструкциями
POST – аннотация
Уходить, уйти, уход Должность или отставка для именных групп с
главным словом
Покинуть, покидать Должность
―пост‖, ―должность‖,
Оставить, оставлять Должность ―место‖, ―кресло‖.
Подать, подавать Отставка 3 Построение аннотаций AVerb – аннотация,
для ключевых слов – маркирующая
Сложить, сложение полномочия 2-й этап ситуацию
Лишиться, лишение Должность или 4 Построение аннотаций AALink – аннотации
полномочия для участников для именных групп –
ситуаций, потенциальных
уволиться - расположенных участников ситуации,
непосредственно которые выделяются
справа и слева от правилами фазы
целевого слова непосредственно
5 Описание алгоритма извлечения справа и слева от
информации о ситуациях аннотации AVerb
Именные группы участников ситуаций
5 Построение аннотаций AALink – аннотации
собираются последовательно справа и слева от
для участников для именных групп –
целевого слова. Работа правил организована
ситуаций, потенциальных
следующим образом: правила собраны в фазы,
расположенных справа участников ситуации,
которые выполняются последовательно одна за
или слева от которые выделяются
другой. Всего есть 9 фаз правил. Информация о
участников, справа и слева от
работе фаз приведена в таблице ниже:
определѐнных в фазе 4 аннотаций AALink,
№ Описание работы Аннотации, построенных
фазы которые строятся правилами фазы 4
правилами (эти аннотации
включают в себя
1 Словам, AVerb – аннотация, аннотации AALink,
описывающим маркирующая слово- построенные ранее)
ситуацию, ставятся в ситуацию
соответствие 6 Построение аннотаций AALink – аннотации
специальные для участников для именных групп –
аннотации, в атрибуты ситуаций, потенциальных
47
расположенных справа участников ситуации,
или слева от которые выделяются
участников, справа и слева от
определѐнных в фазе 5 аннотаций AALink,
построенных
правилами фазы 5
(эти аннотации
включают в себя
аннотации AALink,
построенные ранее) Рис. 3 Эталон разметки для разбираемой ситуации.
7 Добавление в Аннотация AVerb Результат работы фазы 1:
аннотации AVerb получает новые
атрибутов, атрибуты
соответствующих
найденным
потенциальным
участникам
(обязательные
участники)
Рис.4. Построение аннотации AVerb,
8 Добавление в Аннотация AVerb соответствующей слову-маркеру ситуации.
аннотацию AVerb получает новые
атрибутов, атрибуты Построена аннотация AVerb, в атрибутах которой
соответствующих есть ссылка на ситуацию, которую маркирует эта
найденным аннотация ( в данном примере - @получение
потенциальным должности), есть атрибут, по ссылке из которого
участникам (только можно попасть в аннотацию, где хранится
для тех целевых слов, информация обо всех морфологических
у которых на характеристиках слова.
предыдущем этапе
был опознан Следующий рисунок – результат работы фазы 4 (
обязательный правила фаз 2 и 3 в данном контексте не работают)
участник или
обязательный
участник не нужен)
9 Определение ALink – аннотации,
отношений между которые задают
целевым словом и отношение между
найденным словом,
участником ситуации маркирующим
(первый участник, ситуацию, и
второй участник, участником, –
третий участник) приписывание
номера участнику
ситуации
Рассмотрим работу алгоритма на примере
Советником Шойгу стала телеведущая Мария
Китаева. Рис.5. Построение аннотаций AALink,
соответствующих именным группам участников
Эталон разметки выглядит так: ситуации.
48
В результате работы правил 4-й фазы построились
две аннотации класса AALink – соответственно
слева и справа от слова-маркера ситуации. Эти
аннотации соотносятся с именными группами
―Советником Шойгу‖ и ―телеведущая Мария
Китаева‖.
Рис.7. Построение аннотации ALink, моделирующей
отношение между словом-маркером ситуации и еѐ
2-м участником.
Рис.6. Добавление атрибутов в аннотацию AVerb.
Рисунок 6 иллюстрирует результат работы правил Рис.8. Построение аннотации ALink, моделирующей
фаз 7 и 8, когда в аннотацию слова-маркера отношение между словом-маркером ситуации и еѐ
ситуации добавляются атрибуты-ссылки на 3-м участником.
найденные именные группы потенциальных
участников. При этом названия атрибутов отражают
падеж и некоторые другие важные для дальнейшей
работы характеристики. В разбираемом примере - Наконец, на рисунке 9 приведѐн результат работы
это Part_I (―телеведущая‖), Part_I_name (―Мария алгоритма извлечения информации о ситуации:
Китаева‖), Part_T(―Советником‖).
На следующих двух рисунках показаны
аннотации ALink, которые построены правилами
последней, 9-й, фазы и соответствуют отношениям
между словом-маркером ситуации и словом из
именной группы, указывающим непосредственно на
участника ситуации. Атрибут DomRel показывает
номер участника ситуации, атрибут Situation –
название ситуации, атрибуты Master и Slave – это
ссылки на слово-маркер ситуации и на слово,
обозначающее участника.
49
Заключение
В результате работы с размеченной коллекцией
были получены числовые данные, позволяющие
оценить эффективность разработанного подхода к
извлечению информации о ситуациях отставки-
назначения. На данном этапе этот результат
позволяет надеяться, что при развитии разработок в
направлении анализа всего текста и разрешения
кореферентности будут улучшены показатели
извлечения информации о ситуациях и мы сможем в
большей степени приблизить наши знания,
полученные из текста с помощью автоматического
извлечения, к знаниям, которые получает читающий
человек.
Работа выполнена при поддержке РФФИ, грант №
13-06-00483а.
Литература
[1] Александровский Д.А., Кормалев Д.А.,
Кормалева М.С., Куршев Е.П., Сулейманова
Е.А., Трофимов И.В. Развитие средств
аналитической обработки текста в системе
Рис.9. Графическое представление результатов ИСИДА-Т // Тр. Десятой нац. конф. по
извлечения. искусственному интеллекту с междунар.
участием КИИ-2006, Обнинск, 25-28 сентября
6 Результаты тестирования работы 2006 г.: В 3 т. — М.: Физматлит, 2006. — Т. 2.
алгоритма на размеченной коллекции. — С. 555—563.
[2] Гершензон Л. М., Ножов И. М., Панкратов Д.
Для проверки эффективности работы системы В. Система извлечения и поиска
была размечена тестовая коллекция из 231 текста структурированной информации из больших
(тексты взяты на новостных порталах в сети текстовых массивов СМИ. Архитектурные и
Интернет). В текстах встретились и были размечены лингвистические особенности. Компьютерная
описанным выше способом 868 ситуаций отставки- лингвистика и интеллектуальные технологии:
назначения. Результаты тестирования приведены в Труды международной конференции
таблице ниже: «Диалог’2005» (Звенигород, 1–6 июня, 2005
г.)/ Под ред. И. М. Кобозевой,А. С. Нариньяни,
Точность 0,76 В. П. Селегея. — М.: Наука, 2005.
[3] Ермаков А.Е. Автоматическое извлечение
Полнота 0,72 фактов из текстов досье: опыт установления
анафорических связей. Компьютерная
F-мера 0,74 лингвистика и интеллектуальные технологии:
труды Международной конференции "Диалог
При оценке результатов необходимо иметь в
2007". – Москва, Наука, 2007
виду, что данные по всем трѐм оценкам приводятся
по ситуациям, у которых при анализе атрибуты [4] Ермаков А.Е. Извлечение знаний из текста и их
полностью совпали с атрибутами эталона. обработка: состояние и перспективы.
Информационные технологии 2009, № 7
По всей видимости, данные результаты отражают [5] Киселев С.Л., Ермаков А.Е., Плешко В.В.
технологический предел возможностей системы Поиск фактов в тексте естественного языка на
ИСИДА-Т на данном этапе разработки. На результат основе сетевых описаний. Компьютерная
анализа ситуаций оказывают влияние лингвистика и интеллектуальные технологии:
эффективность работы алгоритма выявления имѐн труды Международной конференции
(F-мера – 0,95), а также особенности синтаксических Диалог’2004. — М.: Наука, 2004.
конструкций, задающих ситуации. [6] Кормалев Д.А., Куршев Е.П., Сулейманова
Е.А., Трофимов И.В. Архитектура
50
инструментальных средств систем извлечения [11] Власова Н.А. Подход к автоматическому
информации из текстов. Труды извлечению информации о назначениях и
международной конференции "Программные отставках лиц (на материале новостных
системы: теория и приложения", Переславль- сообщений) // Электронные библиотеки:
Залесский, М.: Физматлит, 2004, т.2, с.49—70 перспективные методы и технологии,
[7] Кормалев Д.А., Куршев Е.П., Сулейманова электронные коллекции. XIV Всероссийская
Е.А., Трофимов И.В. Извлечение данных из научная конференция RCDL-2012. Труды
текста. Анализ ситуаций ньюсмейкинга. Труды конференции. — Переславль-Залесский :
Восьмой национальной конференции по Университет города Переславля, 2012. — С.
искусственному интеллекту с международным 374—378.
участием КИИ-2002. Москва, Физматлит, 2002, [12] Котельников Д.С., Лукашевич Н.В.
с. 199-206 Итерационное извлечение шаблонов описания
[8] Кормалев Д.А., Куршев Е.П., Сулейманова событий по новостным кластерам
Е.А., Трофимов И.В.. Технология извлечения Электронные библиотеки: перспективные
информации, из текстов, основанная на методы и технологии, электронные коллекции.
знаниях. Программные продукты и системы, XIV Всероссийская научная конференция
2009, №2 RCDL-2012. Труды конференции. —
[9] Куршев Е.П., Сулейманова Е.А. Ресурсы Переславль-Залесский : Университет города
предметных знаний в системах Переславля, 2012. — С. 362—373.
интеллектуального анализа текста // Тр. [13] http://projects.ldc.upenn.edu/ace/docs/ -
междунар. конф. «Программные системы: электронный документ – принципы разметки
теория и приложения», ИПС РАН, Переславль- ACE
Залесский, октябрь 2006 г.: В 2 т. — М.:
Физматлит, 2006. — Т.1. — С. 379—390.
[10] http://www.mlg.ru/
Extracting information on appointments
and dismissals from news texts. An
experience in developing an annotated
corpus. Testing results.
Natalia Vlasova
The paper describes an experiment on annotating a
collection of Russian-language news texts for an
information extraction task. The objective was to
evaluate the efficiency of an approach to solving the
appointment-dismissal task, which is implemented in
the ISIDA-T software. ISIDA-T has been developed
during the past decade in the Program Systems Institute,
RAS. It is based on a knowledge-engineering approach
to information extraction. The paper describes the
implementation of information extraction method, the
annotation principles, the test collection, and presents
some evaluation results.
51