The task of annotating a news story with images associated with specific texts is discussed in the article. The definition of “event photography” containing specific information supplementing text of a story is introduced. Neural networks (Inception v3) are used to solve a task for a special marked collection of 4114 images using the transfer learning method. The average precision of the results is more than 94.7%.
Распространение интернета, социальных сетей, развитие носимой электроники, внедрение хороших камер в каждый мобильный телефон – благодаря всем этим факторам, но не ограничиваясь ими, интернет становится главным источником новостей для современного человека, в то время как телевидение и печатные средства массовой информации постепенно уходят на второй план. С развитием технологий растут и скорость распространения информации, и ее количество.
Иллюстрации несут значительную часть информации, иногда даже большую, чем иллюстрируемый текст.
В данной работе рассмотрена задача определения изображений, «полезных» для понимания новостных сообщений, иллюстрируемых ими. Как известно, новостные сообщения прежде всего содержат информацию о некотором событии и должны отвечать на вопрос: «Что произошло?». Труды XIX Международной конференции «Аналитика и управление данными в областях с интенсивным использованием данных» (DAMDID/ RCDL’2017), Москва, Россия, 10–13 октября 2017 года
Для ответа на общий вопрос обычно требуется ответить на совокупность частных вопросов: «Кто? Где? Когда? Каким образом?» и т. д. Важно научиться отличать полезные изображения от тех, которые не несут важной конкретной информации (см. Рис. 1).
В рамках данной работы событийной фотографией будем называть изображение, используемое для иллюстрации новости, для которого выполняются следующие требования:
а) изображение соответствует тексту новостной статьи;
б) изображение является фотографией с места событий или могло бы ей быть (подразумевается событие, описываемое в новостной статье).
Например, фотографии с футбольного матча, места происшествия или встречи глав государств с соответствующими новостными текстами являются событийными. Если же на фотографии изображены логотип, рекламный баннер, вывеска, изображение взято из фотобанка или фотография не соответствует новости, тогда данная иллюстрация не будет считаться событийной.
Задача является актуальной при создании новостных агрегаторов по большому количеству источников.
Большой интерес для исследования представляют социальные свидетельств сети –
огромное очевидцев в первую количество очередь публикуется в социальной сети, а затем уже может найти свое отражение в СМИ.
Идея работы состоит в том, чтобы попробовать выделить ключевые объекты на изображении, сопоставить их с текстом и достичь желаемого результата. {( 1, 1, 1), … , ( , , )}.
Будем также считать, что задана неотрицательная целочисленная функция потерь ( , ), которая показывает, насколько отличается предсказанное классификатором значение от истинного значения.
Обучающую выборку Ω разделим на
две ˜ непересекающиеся коллекции: • тренировочную (используется для обучения
˜ Ω = × × = модели) Ω
= ( 1, 1, 1), … , ( , , ); • тестовую (используется для оценивания модели) Ω
= ( +1, +1, +1), … , ( |Ω|, |Ω|, |Ω|).
Задача классификации состоит в нахождении функции ∗ = ( , ):
∗ = argmin ( ( , ), ), ( , , )∈ Ω , которая называется классификатором. Значение ∗ может быть вещественным из диапазона [0;1], его можно считать вероятностью того, что изображение является событийным.
Решение задачи можно
рассматривать как решение следующих трех подзадач. 2.1 Детектор объектов На этапе обработки изображения построим модель, которая принимает на вход изображение, а возвращает вектор вероятностей присутствия определенных объектов на изображении. Рисунок 2 Пример изображения для детектирования объектов
Например, пусть на вход подается следующее изображение (см. Рис. 2). Пусть рассматривается присутствие автомобиль, следующих человек,
классов: домашнее мотоцикл, растение, велосипед, автобус, поезд, птица, лодка, лошадь, самолет, бутылка, телевизор, кресло, собака, кот, стол, кровать, корова, овца. Результатом работы время события. Однако некоторые фотографии могут содержать не главные объекты, но окружение, которое, вообще говоря, не является специфичным именно для конкретного события (типа события).
В статье [
Таким образом, пока нет возможности с высокой степенью определения использовать изображений.
уверенности опереться на
методы типа события по
изображению, методы При
порождения
этом
в
[
описания определена характеристика «важности» того или иного типа объекта для описания того или иного типа события, например, изображение местных достопримечательностей для альбома о путешествии или изображения невесты и жениха для фотоальбома о свадьбе.
Авторы
[
Вторая модель – это основной классификатор, который преобразует полученные вектор-признаки первой
модели в нужные нам «вероятностные» признаки.
Нейронная сеть – широко используемый метод машинного результаты обучения,
показывающий в анализе изображений, отличные текстов, распознавании речи и других областях. В последнее время сверточные нейронные сети получили большое распространение, и эта область машинного обучения сейчас активно развивается.
На вход первой нейронной сети изображение, на выходе
получается вектор-признак, который далее подается на вход основному классификатору. 4.1 Логистическая регрессия где – вес j-го признака, 0 – порог принятия = ( 0, 1, … , )– вектор весов, ⟨ , ⟩ – произведение признакового описания объекта на вектор весов. Считается, что 0( )= −1, ( )= ∑ln(1 + xp− ∗⟨ , ⟩)→ min.
Результаты объединяются в один вектор.
этих 4.2 Градиентный бустинг моделей затем Градиентный
бустинг – метод машинного алгоритм, последовательно строит базовые модели так, что каждая следующая улучшает качество всего ансамбля. Градиентный бустинг деревьев решений строит модель в виде суммы деревьев: ( )= ℎ0 + ∑
ℎ( ; ), =1 где ℎ0 – некоторое начальное приближение, ∈ – параметр, регулирующий скорость обучения и влияние отдельных деревьев на всю модель, ℎ ( ; ) – базовый алгоритм с вектором параметров .
=
∑( , ( ))→ min – некоторая функция потерь.
Модели обучаются на вектор-признаках – выходе первой нейронной сети.
Аналогично классификатору,
использующему логистическую
регрессию, рассматривается набор
моделей
градиентного
бустинга –
по
одной
на
каждый класс. Реализация градиентного бустинга
берется из библиотеки sklearn с параметрами по
умолчанию [
Рассмотрим нейросеть, на вход которой подается вектор-признак с первой нейросети, а на выходе нашей задачи (при повышении оценки для одного класса все остальные занижаются). Нами последний слой был заменен на Sigmoid, так как решается задача многозначной классификации. 5.1 Обработка изображения
Для представления изображения в виде вектора используются модели, описанные в п. 4.1. Для данного преобразования применяется метод, называемый переносом обучения (transfer learning).
Перенос обучения – метод, позволяющий
применить знания, полученные в процессе решения
одной задачи, для решения другой схожей задачи.
Например, можно взять уже предобученную на
большом объеме данных нейронную сеть и
дообучить ее на своих данных. Применение данного
метода обычно позволяет сэкономить большое
количество ресурсов (как времени, так и
вычислительных ресурсов). В данной работе в
качестве предобученной модели использована
Inception v3, обученная для ImageNet Large Visual
Recognition Challenge на данных 2012 года [
В случае обработки изображений берется первая модель (предобученная нейросеть), на вход которой подается изображение. Затем из этой сети извлекается некоторый слой, который и будет являться промежуточным векторным представлением нашего изображения. Данный слой обычно содержит большое количество признаков, помогающих решать задачу классификации. Далее этот слой подается на вход уже второй модели (линейной регрессии, градиентному бустингу или другой нейронной сети). На выходе мы получаем вектор вероятностей присутствия объектов для каждого из классов. 5.2 Обработка текста
Для представления текста в векторном виде используется TF-IDF. Для каждого документа из коллекции его исходный текст токенизируется, а токены приводятся в начальную форму. Затем считается подокументная частотность преобразованных токенов и вычисляется TF-IDF вектор для каждого документа. 5.3 Объединение текста и изображений
Результаты обработки коллекции новостей с изображениями по пп. 5.1 и 5.2 подаются на вход нейросети, которая комбинирует полученную информацию с двух входов и возвращает число в диапазоне от 0 до 1 – вероятность того, что изображение подходит для иллюстрации текста. Нами проверено, влияет ли использование текстовых признаков на качество определения фотографии как событийной или же достаточно использования только признаков, выделенных на изображении. 6 Исходные данные
В качестве данных для обучения и отладки моделей были использованы как готовые наборы данных, так и специально собранные для решения поставленной задачи. 6.1 CIFAR-10
CIFAR-10 – это коллекция размеченных
изображений, взятых из другого набора данных
подназванием «80 million tiny images» [
Описание коллекции: • 60000 размеченных изображений; • 10 классов, 6000 изображений на класс (самолет, автомобиль, птица, кошка, олень, собака, лягушка, лошадь, корабль, грузовик); • размер изображений фиксированный, 32х32; • один класс на одном изображении. 6.2 Pascal VOC2012
Pascal VOC2012 – это коллекция размеченных
изображений, которые были собраны для
соревнования по распознаванию и классификации
объектов [
Описание коллекции: • 11540 размеченных цветных изображений; • 20 классов, в среднем по 577 изображений на класс (мотоцикл, автомобиль, человек, домашнее растение, велосипед, автобус, поезд, птица, лодка, лошадь, самолет, бутылка, телевизор, кресло, собака, кот, стол, кровать, корова, овца); • размер изображений не фиксирован, но
максимальная длина сторон – 500 пикселей; • не менее одного класса на изображении. 6.3 Коллекция изображений на базе ImageNet
Для обучения детектора объектов нужно
просмотреть новостные иллюстрации, понять, какие
объекты там чаще всего встречаются, и собрать
собственную коллекцию для обучения. Нами
выделено 38 классов объектов, которые чаще всего
встречаются в новостных иллюстрациях, и для них
была собрана коллекция изображений на базе
ImageNet [
Описание коллекции: • 62357 размеченных цветных изображений; • 38 классов, в среднем по 1640 изображений на класс (воздушная техника, животное, баннер, лодка, здание, церковь, концерт, конструкция, толпа, документ, электронное устройство, огонь/дым, флаг, еда, в помещении, военная воздушная техника, военный транспорт, гора, нефтегазовые строения, картина, человек, растение, общественный транспорт, дорога, корабль, снаружи, солдат, космический корабль, спикер, транспорт специальных служб, спорт, деловой костюм, телекамера, служебная форма, транспорт, военный корабль, вода, оружие); • размер изображений не фиксирован; • не менее одного класса на изображении. 6.4 Коллекция новостей
В качестве обучающей коллекции для определения событийной фотографии был собран набор новостей, содержащий 4114 примеров. В результате разметки получилось 3100 позитивных и 1014 негативных примеров событийных фотографий. Таблица 1 Значение AP для 4 моделей на наборе данных Pascal VOC2012 ь т а в о р К о л с е р К д з е о П а в о р о К а к л ы т у Б к е в о л е Ч 7.1 Выбор модели для обработки изображений
В качестве основной метрики была использована
AP (average precision), определенная в статье [
˜ ( ) – это измеренное значение точности для
˜ значения полноты , p(x) – кривая «точность– полнота».
Сравнения качества моделей на наборе данных
Pascal VOC2012 отображено в таблице1. Здесь также
приведены значения AP для модели HCP-2000C [
Из полученных оценок можно сделать вывод, что нейронная сеть с текущими параметрами лучше подходит для решения поставленной задачи, в дальнейшем будем рассматривать ее как основную модель. Рисунок 4 Зависимость значения функции потерь от итерации На графике (см. Рис. 4) можно наблюдать, как сходится функция потерь нейросетевой модели на различных наборах данных. Поведение функций довольно похожее, но на Pascal VOC2012 при более медленной сходимости достигается лучшее качество. Графики MAE (средней абсолютной ошибки) ведут себя одинаковым образом (см. Рис. 5). Рисунок 5 Зависимость значения MAE от итерации 7.2 Обучение модели на собственном наборе данных
Убедившись, что модель работает и показывает хорошие результаты на готовых наборах данных, нужно перейти к следующему этапу – обучению модели на собственной коллекции. 7.3 Применение моделей к новостям
Для этого обучается модель согласованности, которая по входным данным определяет, является изображение событийным или нет.
Обучим две модели, одна из которых принимает на вход одно лишь векторное представление изображения, а другая принимает на вход, помимо прочего, векторное представление соответствующего новостного текста. Во второй сети каждый из двух векторов входа преобразуется в вектор общей длины, затем конструируется новый вектор, получающийся конкатенацией поэлементного умножения и поэлементного сложения предыдущих слоев. Финальный слой каждой сети – Softmax. На выходе нейросети получаем два значения 1, 2 в интервале [0;1], первое из которых – вероятность того, что изображение не является событийным для этой фотографии, а второе – что является ( 1 + 2 = 1). Для обучения нейронной сети использована
˜ ˜ следующая функция потерь: ( , )= −( log +
˜ (1 − )log(1 − ))– софтмакс кросс-энтропия.
На Рис. 6 показаны графики значения функции потерь для каждой из двух моделей. Отметим, что модель, использующая текст, имеет склонность к переобучению после ~1500 итераций. Рисунок 6 Зависимость значений средней точности для различных моделей на тестовых данных 7.4 Результаты
Следующие шаги после обучения детектора – его применение к новостным изображениям, получение векторного представления изображений и перевод текстов в векторную форму. Примеры работы программы изображены на Рис. 7 и 8. Рисунок 7 Пример работы программы Рисунок 8 Пример работы программы 8 Интерпретация результатов
В работе исследован метод ранжирования изображений для иллюстрации новостного сюжета, а именно, выявления изображений, которые с большей вероятностью содержат информацию, дополняющую текстовое сообщение. Представлен метод с использованием переноса обучения результатов
Inception v3, когда несколько последних слоев обученной нейронной сети заменяются специфическим классификатором для исследуемой коллекции изображений.
В проведенных экспериментах специфический классификатор на основе нейронных сетей несколько превзошел логистическую регрессию и градиентный бустинг (однако для практических целей данные методы также можно использовать).
На коллекции из 4114 изображений (из них 3100 событийных), размеченной одним из авторов, достигнут результат 93,2% средней точности при обучении только по изображениям и 94,7% при использовании текстовой информации.
Целью дальнейших исследований являются применение более сложных и современных моделей классификации, введение дополнительных признаков, выделенных на изображениях, оценка применимости данной работы на таких источниках новостей, как социальные сети, улучшение и расширение собранных коллекций. Литература