The paper describes the research carried out on the subject of the formation of the temporal summary. Algorithms have been developed and a software system has been implemented that allows you to automatically create a timeline summary for the body of news articles for the selected news document. A study of three new factors, taking into account the structure of the dynamics of news story development.
В связи с взрывным ростом количества информации в интернете возникает задача выделения и автоматического обобщения полезной информации в поступающем потоке данных.
Востребованными задачами являются задачи
реферирования новостных сюжетов – множества
новостных сообщений различных источников,
посвященных описанию некоторого события. Такие
задачи часто решаются новостными агрегаторами,
например, Яндекс.Новости [
Отметим, что некоторые новостные сюжеты имеют «историю» в виде множества предшествующих событий, произошедших в различные моменты времени и в той или иной мере связанных между собой.
Для таких длительных сюжетов, где сама их Труды XIX Международной конференции «Аналитика и управление данными в областях с интенсивным использованием данных» (DAMDID/ RCDL’2017), Москва, Россия, 10–13 октября 2017 года длительность (повторное возвращение к одной и той же теме) в определенной мере свидетельствует об их значимости, является актуальной задача формирования «исторических справок».
Историческая справка – это тип обзорного реферата (обзорной аннотации), включающего последовательное изложение существенных деталей исследуемого сюжета. Подобная аннотация может содержать в себе основные этапы, события и факты исходного сюжета. Построение подобных аннотаций представляет собой сложную работу, которую выполняют журналисты или аналитики, и, соответственно, автоматизация подобного процесса является востребованной задачей.
В рамках данной работы рассмотрены проблемы и решения при автоматическом построении исторических справок.
Рассматривается ситуация, когда пользователя новостного агрегатора заинтересовала какая-то новость (новостное сообщение), и он хочет получить историческую справку по сюжету, обсуждаемому в данном новостном сообщении, т. е. результатом должен быть упорядоченный по времени перечень описаний произошедших ранее ключевых событий.
Задача рассматривается как задача обзорного
реферирования (multi-document summarization) по
запросу на представительной коллекции новостных
документов. В качестве запроса рассматривается
значительно меньше по стандартным мерам сходства.
текст новостного сообщения.
Требуется
выявлять
объекты [
будет автоматического построения аннотации описанного типа по запросу в виде текстового документа.
На выходе работы системы должна быть аннотация из предложений. Связность между предложениями не требуется.
Как пример построенной исторической справки можно рассмотреть аннотацию (таблица 1), построенную по событию, связанному с крушением 1 2 3 … n Таблица 1. Крушение самолета на Тайване Самолет ATR 72 авиакомпании TransAsia потерпел крушение 4 февраля на Тайване. Операция по поиску жертв крушения самолёта TransAsia Airways завершена, в результате происшествия погибли 35 человек. Члены экипажа самолета авиакомпании TransAsia Airways, потерпевшего крушение в феврале на Тайване, отключили работающий двигатель, после того, как второй перестал работать … Совет по авиационной безопасности Тайваня опубликовал отчет о крушении самолета компании TransAsia Airways в феврале этого года, в результате которого погибли 35 человек.
В цели работы входит исследование влияния различных факторов на качество построения аннотации, поэтому необходим набор эталонных аннотаций, на которых будет оцениваться качество работы системы. 3.1 Математическая постановка задачи
Описанную выше задачу можно формализовать следующим способом: имеются набор запросов = { 1, 2, … , } и 4.1 Исследуемые факторы
В рамках работы исследовались следующие факторы: • стратегия расширения запроса; • учет временного характера новостных сюжетов. • учет структуры новостной статьи в виде перевернутой пирамиды. 4.2 Стратегия расширения запроса
Информации, которую можно получить из запроса-документа, может быть не достаточно, чтобы эффективно построить историческую справку. Этот факт является следствием того, что большинство новостных статей является не общим описанием события, а обсуждением какого-то частого происшествия или факта. Чтобы избежать подобной проблемы, был разработан алгоритм, использующий кластер близких запросу документов. Алгоритм: 1. Для запроса-документа на основе статистической информации по коллекции (индекс) строится вектор наиболее весомых по tf-idf лемм (нормализованных словоформ) документа. 2. По построенному вектору происходит поиск близких документов в коллекции. 3. По кластеру извлеченных документов происходит анализ важности лемм на основе tf-idf: a. Для каждого документа
рассматриваются лучшие t лемм. b. Происходит ранжирование лемм на основании частоты встречаемости в лучших t леммах каждого документа. c. Из сортированного списка выбирается k наиболее весомых лемм. 4. Повторяются пункты 2–3 (повторное расширение запроса). 5. На выходе имеется вектор из k лемм, который отражает семантику документа-запроса.
Как пример работы модуля расширения запроса можно рассмотреть этапы работы алгоритма на новостной статье, посвященной теракту в Париже (порядок в списке обратный по отношению к весу слова): Олланд назвал нападение на Charlie Herbo терактом Президент Франции Франсуа Олланд назвал терактом нападение на сотрудников сатирического журнала Charlie Herbo в центре Парижа. По последним данным, в результате стрельбы погибли 11 человек, еще четверо находятся в критическом состоянии. ... Первичный запрос, полученный на этапе 1: 1. Posten, Jyllands-posten, Jyllands, Herbo,
Charlie, Олланд. Единожды расширенный запрос, после этапа 3: 2. Перепечатать, Скандальная, Еженедельник, Карикатура, Олланд, Сатирический, Теракт, Charlie, Herbo.
Как видно, последний вариант включает в себя наиболее важные элементы. 4.3 Учет структуры новостной статьи в виде перевернутой пирамиды. Рисунок 1 Перевернутая пирамида «идеального» новостного сообщения
Стратегия написания качественной новостной статьи часто опирается на структуру вида «перевернутая пирамида», Рис. 1.
В дополнительной информации часто встречается описание произошедших ранее событий по теме документа.
Учет данной структуры происходит в 2 аспектах: 1. Построение графа из документов, близких к запросу, где ребром является неявная ссылка между окончанием одной статьи и началом другой статьи, которая была опубликована ранее.
2. Повышение веса предложений, которые располагаются в верхней части новостной статьи и нижней части. Выделение нижней части происходит из-за того, что предложения оттуда часто резюмируют информацию из заголовков других статей.
Алгоритм работы первого способа учета структуры «перевернутая пирамида» выглядит следующим образом:
1. Для набора документов происходит построение матрицы близости между окончаниями и началами документов.
2. При превышении заданного порога считается, что присутствует ссылка между документами и .
3. На построенном графе происходит
ранжирование документов путем использования
известного алгоритма LexRank [
Итого, на выходе имеется ранжированный список документов
и набор из новых запросов, учет которых будет осуществлен совместно с учетом временной структуры новостного сюжета.
Второй способ учета структуры перевернутой пирамиды реализован в функции ранжирования итоговых предложений, раздел 4.6. ранее построенных расширенных запросов на метки предложений из середины документа. из , Рис. 3. ранжированием документов. Рисунок 4 Схема работы системы 4.6 Модуль поиска релевантных документов Поиск релевантных документов происходит путем поиска близких документов для построенного запроса на этапе формирования запроса, описанным в пункте 4.2. Использовалась поисковой машины NearIdx 8, разработанная ООО «Лаборатория информационных исследований». 4.7 Модуль отбора предложений Данный модуль занимается
непосредственно предложений из
извлеченных Ранжирование происходит модифицированной версией алгоритма
MMR, которая прямо или косвенно учитывает все факторы, описанные в 4.1:
= − , где – член, описывающий положительную составляющую формулы, которая зависит близости предложения к запросу, веса документа, из которого взято предложение, и позиции предложения в документе; = (1 + ∗ )∗ ∗ ∗ ( , ), = 1 − 0.5 ∗ sin( ∗ ). | | Параметры и
являются настраиваемыми параметрами алгоритма, – вес документа который входит предложение под индексом , – , в оцениваемое предложение под индексом и с временной меткой , – запрос, отображенный на эту временную метку, – слагаемое, понижающее вес Слагаемое
– штрафное. Оно зависит от близости к уже извлеченным предложениям: = (1 − )∗ max ( , ),
∈ из
– одно из извлеченных предложений, множество всех уже извлеченных предложений. Обработка множества предложений, пришедших модуля поиска релевантных документов, происходит в хронологическом порядке, на каждом этапе обрабатывается подмножество ∈ , связанное с меткой ∈ . Для каждого этапа имеется ограничение на извлечение максимум предложений за сутки. (2) от (3) (4) (5) – Рисунок 2 Зависимость количества публикаций новостного сюжета от времени 4.4 сюжетов Учет временного характера новостных
Так как любое событие зависит от времени, то публикации и количество публикаций тоже зависят от времени. Как пример, на Рис. 2 изображен график зависимости публикаций по событию «Землетрясение в Непале». Чтобы учесть данный фактор, для набора документов
происходит следующее: 1.
Вся временная шкала события разбивается по суткам с метками
= { 1, 2, … , }. 4.8 Мера близости составлялись исторические справки, размер которых, в среднем, около 15 предложений. перевернутой пирамиды;
full – importance + расчет близости на этапе (9) построения графа происходит с помощью word2vec Рисунок 5 Отрывок сюжета с interfax (http://www.interfax.ru/story/151/page_3) Итого, в результате построенная тестовая коллекция содержит в себе исторические справки по 15 событиям. 6 Результаты Оценивались 6 конфигураций системы:
baseline – простой подход к аннотированию, без учета рассмотренных факторов, с использованием в качестве метода ранжирования обычного MMR; querry-ex – добавление к baseline стратегии расширения запроса, но без повторного расширения double-ex – querry-ex + двойное расширение temporal – double-ex + учет временного importance – temporal + учет структуры ( , )= ( , ).
| |∗| | Для расчета близости на этапе ранжирования предложений для них использовалось стандартное векторное представление, полученное из индекса, где вес элемента – это tf-idf. , – сумма ROUGE-N и ее F-мера аналога данных для процедуры
Так как для процедуры оценки качества работы системы необходим тестовый набор аннотаций, в рамках исследования были вручную подготовлены исторические
Проведены исследования по тематике построения исторических справок. Были рассмотрено три фактора, которые могут влиять на качество построения аннотаций. Получены количественные и качественные результаты.
По результатам проведенных исследований оказалось, что выбор стратегии расширения запроса оказывает наибольшее влияние на качество построение аннотации подобного типа. Учет временного характера сюжета совместно с учетом структуры новостной статьи также улучшает результаты по метрикам и , что говорит о том, что данные факторы способны положительно влиять на качество построения исторических справок. Литература