Задача избирательного распространения
информации, сформулированная Луном (Luhn) в
1958 г., получила наименование «фильтрация» в
1975 г. (Denning). Система фильтрации контролирует
поток документов, отбирая в нем полезные
документы в соответствии с некоторым критерием
(информационная потребность пользователя). Более
полно задача определена в [
Введение законодательного регулирования содержания информационных ресурсов обострило проблему обнаружения и блокировки запрещенного контента, к которому относится любое запрещенное государством для просмотра и ознакомления информационное наполнение ресурса или веб-сайта (текст, мультимедиа, графика). При существующей скорости прироста и обновления информации в полной мере контролировать ее содержание с помощью модераторов-людей практически невозможно.
Современные подходы к автоматической
фильтрации запрещенного контента чаще всего
основаны на использовании списков ссылок на сайты
(URL-фильтрация) [13], распознавании ключевых
слов из списка запрещенных, а также на основе
тематической классификации, например [
При рассмотрении различных методов
фильтрации [
В предлагаемом нами решении используется комплексный подход, при котором решение о запрещенности страницы принимается на основании не только ее тематики, но и прагматики, т. е. вида деятельности, осуществляемой посредством сайта в целом. Дополнение тематического анализа жанровым, а также использование лексических признаков, позволяющих явным образом задать семантику терминов, дает возможность более точно распознать и локализовать запрещенный контент. 2 Задача фильтрации контента
Фильтрация текстового контента традиционно
рассматривается как разновидность
информационного поиска. С другой стороны,
фильтрацию можно рассматривать как особый
случай классификации по двум категориям
(релевантные и нерелевантные). В обзоре [
Базовое сходство всех направлений заключается в наличии следующих компонентов: 1. Представление веб-объекта (документа). 2. Представление информационного класса (информационной потребности, категории, профиля пользователя). 3. Сопоставление документа и класса с помощью алгоритмов, вычисляющих меру сходства.
Запрещенный контент − это любое содержательное наполнение веб-сайта, предоставление которого для просмотра и ознакомления запрещено государством. На территории РФ действует федеральный закон № 149ФЗ «Об информации, информационных технологиях и о защите информации», в соответствии с которым устанавливаются основания для включения сайтов в список запрещённых. Список тематик блокируемых ресурсов открыт и включает, к примеру, такие типы запрещенного контента, как: контент, предназначенный только для взрослых, пропаганда против отдельного лица, группы или организации; материалы, связанные с наркотиками; контент, связанный с оружием, и др.
Для апробации предлагаемого подхода в качестве запрещенного рассматривался текстовый контент на русском языке, относящийся к теме «Наркомания и наркотики».
В силу высокой сложности задачи выявления запрещенного контента предложенное решение основано на совокупности различных методов анализа текстов и интернет-документов, включая методы машинного обучения и инженерный подход.
Машинное обучение не является полностью автоматическим, оно также требует экспертной деятельности по аннотированию обучающего множества текстов метками классов. Однако сформированные автоматически (хотя и на основе экспертной разметки) описания классов содержат много «шумящей» лексики, которая на этапе классификации текстов понижает точность работы алгоритма.
Инженерный подход предполагает создание описаний классов с участием эксперта, который, используя ускоряющие его деятельность программные модули нормализации текста и генерации частотных словарей, формирует ресурсы для классификатора. Несмотря на трудоемкость реализации, инженерный подход обеспечивает высокое качество классификации текстов за счет экспертной фильтрации «шума» и дополнения словарей (описаний классов) недостающей лексикой, отсутствующей в обучающей коллекции.
Особенность предлагаемого решения состоит в интеграции тематических и жанровых методов классификации текстовых ресурсов на базе инженерных правил принятия решения о наличии вредоносного контента. Использование тематических градаций в теме «Наркомания и наркотики» обеспечивает построение ее описания во всем многообразии и полноту классификации контента.
Необходимость использования жанровой классификации вызвана особенностями основной темы и требованиями к принимаемому решению – определению принадлежности контента к двум классам: запрещенному контенту и незапрещенному. Определение жанра позволяет уточнить решение, полученное на базе тематической классификации. Этому же способствуют используемые логические правила принятия решения о запрещенности контента, построенные на основе результатов жанровой и тематической классификации.
В силу особенностей текстов исследуемой тематики традиционный алгоритм обработки текстов дополнен модулем анализа специальной тематической и стилистически окрашенной лексики – научная терминология, сленг наркоманов, обесценная лексика, жаргон интернетпользователей, тематическая лексика на латинице и транслите.
Для оптимизации времени работы приложения алгоритм реализуется в два этапа: 1. предварительный анализ: установление наличия в тексте лексики, характерной для заданной тематики; 2. основной алгоритм: тематическая и жанровая классификации с принятием окончательного решения о запрещенности / незапрещенности контента.
Предусмотрена возможность обоснования полученных решений путем предоставления промежуточных результатов работы алгоритма фильтрации в понятной для конечного пользователя форме: найденной лексики, полученной уточненной тематики, жанра и используемых решающих правил. 3 Модель знаний
Предлагаемое нами решение основано на использовании лингвистических и предметных знаний и включает следующие ресурсы: 1. Рубрикаторы: тематический, жанровый (жанры интернет-текстов), прагматический (жанры сайтов) и лексический (признаки терминов). 2. Предметный словарь, включающий тематическую и жанровую лексику. 3. Жанровые шаблоны веб-текстов. 4. Прагматические модели веб-сайтов. 5. Решающие правила.
Рассмотрим их подробнее.
Тематический рубрикатор вводит уточняющие подтемы для базовой тематики «Наркомания и наркотики» и включает как запрещенные темы, так и незапрещенные (см. Рис. 1).
Назначение данного рубрикатора: • отделить сайты по заданной тематике; • дать объяснение пользователю, почему сайт заподозрен или отнесен к запрещенным.
Жанровый рубрикатор предназначен для классификации веб-страниц и веб-сайтов по жанрам, что в дальнейшем используется как для уточнения тематической классификации, так и для повышения качества фильтрации на основе правил. Рисунок 1 Фрагмент тематического рубрикатора Выделяются такие жанры веб-ресурсов, как Торговая площадка, Аптека, Сайт медицинской организации, Энциклопедический ресурс, Новостная лента, Персональная страница, Комментарий и т. п.
Предметный словарь − структурированное хранилище терминов (слов и словокомплексов), в котором содержится вся необходимая информация для предварительного отбора тематически релевантных страниц, тематического и жанрового анализа текстового контента и принятия решения о блокировке.
Начальное наполнение словаря генерируется на этапе обучения с использованием размеченного экспертами корпуса веб-страниц, относящихся к исследуемой тематике, с применением универсального морфоанализатора, снабженного функцией предсказания незнакомой лексики.
Дополнительными источниками тематической лексики являются законодательно утверждённые Правительством РФ перечни наименований контролируемых наркотических средств, психотропных веществ и их прекурсоров, а также соответствующих видов растений, которые периодически пополняются и корректируются (примерно раз в год). Соответствующие документы доступны на официальных интернет-сайтах правовой информации, таких, как www.consultant.ru и pravo.gov.ru.
Далее осуществляется настройка предметного словаря экспертами, которые выделяют в его составе специальные подсловари, используя систему лексических признаков: тематическая лексика, научные термины, сленг наркоманов, термины на латинице, жанровая лексика и др. В задачу экспертов входит пополнение этих подсловарей, выявление регулярных ошибок фильтрации и формирование правил для изменения состава и структуры словаря.
Для создания и настройки словаря использовалась технология создания терминологических словарей KLAN [12].
Жанровые шаблоны веб-текстов формируются на основе лексических маркеров жанра и условий их встречаемости в текстовом фрагменте. Маркеры строятся на основе терминов словаря, при этом используются возможности представления совместной встречаемости терминов, альтернативности терминов в конкретной позиции (квазисинонимия), а также иерархической вложенности маркеров друг в друга. Например, страницы сайта типа Торговая площадка содержат следующие элементы: • • • количественные конструкции (маркер: единица измерения “гр”, “мгр”), списки количественных конструкций (прайсы) с маркерами из жанровой лексики: Цены: 5гр. – 5 000 р, 10гр.–- 9 000 р жанровая лексика: цена, товар, закладка.
Шаблон веб-страницы составляется из маркеров, на которые накладываются позиционные условия на тип фрагмента (заголовок, ссылка, выделенный текст, текст). Как и при описании маркеров, поддерживаются альтернативы и совместная встречаемость маркеров.
Рассмотрим для примера новостной шаблон: «новостная лента»: [<_навигацияНовость, all_h>] _навигацияНовость: [«главное за сутки»] [«главное за сегодня»][«главное за день»] [«все новости»][«основные новости»] [«последние новости»][«лента новостей»] Содержательно данный шаблон описывает следующее правило: если в одном из заголовков встретится один из маркеров группы _навигацияНовость, то это новостная лента.
Модель веб-сайта задается набором жанров вебстраниц, которые обязательно должны присутствовать на сайте и являются в совокупности его отличительным признаком. Для каждого сайта может быть задано несколько шаблонов. Например, модель интернет-магазина представлена двумя альтернативами: [Магазин, Описание товара, ПредложениеТовара, Корзина, Доставка, Оплата] [Магазин, Описание товара, ПредложениеТовара, CтатусЗаказа] Принятие решения осуществляется на основе решающих правил, в посылках которых описываются условия того, будет ли анализируемый контент запрещен или разрешен. Эти условия строятся на термах, значениями которых являются конкретные тематики, жанры текста, жанры сайта и лексические признаки. Применяются правила двух видов: положительные и отрицательные, характеризующие текст, соответственно, как разрешенный или запрещенный. Правилами описываются, например, следующие экспертные наблюдения:
a) Если анализируемому контенту приписан лексический признак <40> «Обсценная лексика», он отнесен к тематике [601] «Употребление наркоманами» и жанру <401> «Торговая площадка» или (404) «Научная/информационная статья», то текст следует отнести к запрещенному контенту; b) Текст по теме [1102] «Выращивание наркотических растений», написанный в жанре (407) «Словарная статья», относится к незапрещенному контенту. А текст по той же теме, представленный в ином жанре, может диагностироваться правилами как запрещенный контент и т. п.
Экспертные правила, помимо полноты, обладают высокой объяснительной способностью, что является существенным для нашей задачи.
Отметим, что правила принятия решений можно было бы сформировать автоматически при достаточном объеме обучающей выборки. Эксперимент показал, что экспертные правила не противоречат правилам, сформированным автоматически по обучающей выборке. Таким образом, можно рассматривать такой метод автоматического формирования правил как способ верификации правил, написанных экспертом. 4 Фильтрация контента
Анализ текстового контента осуществляется в несколько этапов. К основным этапам относятся тематическая и жанровая классификация текста, жанровый анализ сайта и принятие решения о запрещенности контента.
Объем статьи не позволяет в полной мере раскрыть каждый этап обработки текста, поэтому мы сконцентрируемся на основных идеях и используемых подходах. 4.1 Классификация текста
Прежде всего, необходимо уметь выявлять соответствие контента исследуемой тематике (подозрительность текста). При принятии решения о степени подозрительности контента необходимы: а) Словарь тематической лексики, присутствие которой в тексте позволяет предположить тему «Наркомания и наркотики». Словарь содержит слова и словосочетания данного лексико-семанти-ческого поля, как специальные научные и нейтральные, так и жаргонные (сленг наркоманов). Эта лексика включает названия наркотиков, наркосодержащих лекарств и растений, названия состояний под воздействием наркотиков и т. п.
б) Критерий для определения возможной принадлежности к данной теме (степени подозрительности) текста, содержащего термины из словаря. Вычисление критерия опирается на степень присутствия тематической лексики с учетом лексического признака однозначности/ неоднозначности (омонимичная, т. е. тематически неоднозначная лексика из рассмотрения на данном шаге исключается).
Для подозрительных текстов применяется уточняющая классификация в соответствии с заданными рубриками с использованием весовых характеристик терминов, вычисляемых как ожидаемая взаимная информация (EMI) [9]. Данная мера позволяет оценить, сколько информации о классе – в теоретико-информационном смысле – содержит термин. Обучение и настройка алгоритма классификации производилась с участием эксперта.
При оценке релевантности текста классу
(тематике) помимо веса термина учитывалась «зона
текста», в которой встретился термин [
Способ взвешивания терминов, основанный на
расчете EMI, дает улучшение на 5% по сравнению со
способом взвешивания типа TF*IDF.
4.2 Жанровый анализ
В отличие от основной
массы
подходов к
фильтрации, которые реализуют только
контентанализ страниц ресурсов, т. е. тематический анализ
по ключевым словам, либо ограниченный жанровый
анализ
(преимущественно
по
формальным
признакам, таким, как длина текста, количество
букв, цифр и специальных признаков, количество
ссылок и т. п. [
жанровоанализ и классификацию. Используемые в рамках данного подхода признаки классификации явным или опосредованным образом не
только отражают ресурсов, прагматические но и аспекты тематику такие
анализируемых коммуникативножанра, как вид деятельности, осуществляемой посредством ресурса, включая цели и задачи деятельности и целевую аудиторию как ее участника, медийные свойства ресурсов, стилистические особенности используемых языковых средств.
Признаки жанрово-тематической классификации делятся на группы, каждая из которых отражает определенный аспект классификации: Макроуровень – ресурс в целом; Микроуровень страница, раздел, блок).
(компоненты ресурса: 4. Жанрово-прагматическая классификация ресурсов (на основе прагматических аспектов содержания и представления): Праксиологические (деятельностные) аспекты (вид
деятельности, осуществляется посредством ресурса); которая Аспекты связанные содержания
и с
каналом (медийные свойства ресурсов). представления, коммуникации 5. Жанрово-стилистическая классификация ресурсов: Лексико-стилистические содержания и
аспекты представления (стилистические особенности используемых языковых стилистически средства).
средств с акцентом
на окрашенные языковые Представление о жанре закладывается на этапе формирования целенаправленно экспертами. классификации обучающей выборки,
которая отбирается и
размечается Предлагаемая процедура
жанровой совмещает статистический и экспертный подходы к анализу жанра и опирается на метод вычисления меры принадлежности текста к жанру методов машинного обучения. 4.3 Принятие решения на основе правил Решение контента параметров: о
запрещенности/незапрещенности принимается на основе следующих ∑
=1 ( )= 1; 1. ̅ =(p(t1), p(t2), ..., p(ti), ..., p(tNt)) – вектора релевантности текстового контента тематикам рубрикатора, где
Nt – число рубрикаторе, p(ti) – вероятность тематик в реализации тематики ti в анализируемом тексте, i = 1, ..., Nt; 2. ̅=(p(j1), ..., p(jNj)) – вектора релевантности контента текста
жанрам текста, заданным в жанровом рубрикаторе, где Nj – число жанров текста в рубрикаторе; ∑ =1 ( )= 1; 3. ̅ =(p(js1), ... ,p(jsNs)) – вектора релевантности контента всего сайта жанрам сайта, заданным в рубрикаторе, где Ns – число жанров сайта в рубрикаторе; помощью веб-браузера на стороне клиента, формируется в общем случае из множества вебтекстов с добавлением незначащего для анализа контента – элементов оформления страницы, баннеров, рекламы и т. п., а также медиа-контента.
Обработка сайта начинается с анализа его структуры, затем формируется начальный индекс сайта (в случае обновления сайта индекс модифицируется), фиксируются зависимости между веб-текстами. После этого тексты сайта последовательно анализируются. Рисунок 2 Схема выявления запрещенного контента
Каждый веб-текст очищается от html-разметки (значащие элементы разметки, такие, как заголовки, ссылки, выделение фрагмента стилем, сохраняются), осуществляется лингвистический анализ текста, обеспечивающий поиск в нем терминов словаря, и сбор статистической информации. Далее производится оценка тематической принадлежности текста к базовой теме «Наркомания и наркотики» – т. н. «оценка подозрительности» текста (текст считается подозрительным, если его контент соответствует базовой теме). В определении подозрительности участвует только однозначная лексика, наличие которой позволяет снять возможную тематическую неоднозначность текста. Для неподозрительных текстов дальнейшая оценка запрещенности не проводится, определяется лишь жанр текста, который заносится в индекс сайта.
Жанровая классификация позволяет определить жанр текста на основе словаря маркеров и структурного анализа текста в соответствии с разметкой. Если на основе маркеров и жанровых шаблонов жанр веб-текста определить не удалось, то применяется уточняющая классификация на основе методов машинного обучения.
Уточняющая классификация обеспечивает не только определение жанра текста, но и уточнение (конкретизацию) его тематики в соответствии с типами противоправных и разрешенных действий в рамках темы «Наркомания и наркотики». При уточняющей классификации используется обученный на размеченном корпусе текстов предметный словарь. Результатом уточняющей классификации являются векторы релевантности текста темам и жанрам, которые сохраняются в индексе сайта.
После первичной обработки всех веб-текстов сайта осуществляется анализ его жанра. Каждый жанр сайта описывается одной или несколькими моделями. Модель сайта фиксирует набор жанров текста, которые обязательно должны встретиться на сайте данного жанра. Данные модели составляются экспертами вручную на основе анализа структуры веб-сайтов обучающей коллекции. Вычисление оценки степени соответствия сайта какому-либо жанру осуществляется по моделям сайтов и оценкам, полученным для жанров веб-текстов сайта. Полученные оценки для жанра веб-сайта и составляющих его веб-текстов сохраняются в индексе сайта.
Принятие решения о запрещенности сайта осуществляется на основе решающих правил, которые применяются только для подозрительных текстов. Особенностью параметра подозрительности текста является то, что он «распространяется» на все связанные тексты (связи между текстами фиксируются структурой сайта и хранятся в индексе сайта). Поэтому на стадии предварительной обработки осуществляется поиск всех подозрительных текстов по связям и выполнение уточняющей классификации для тех из них, для которых она ранее не проводилась. Результатом применения правил к тексту является оценка запрещенности страницы.
Оценка запрещенности всего сайта определяется как максимум из оценок запрещенности по всем текстам сайта. 6 Результаты эксперимента
Для оценки качества фильтрации были сформированы одна обучающая и две тестовых коллекции, содержащие веб-тексты: 1. Обучающая коллекция, состоящая из 468 вебтекстов на русском языке, относящихся к теме «Наркомания и наркотики». Все тексты размечены экспертами. Разметка включает экспертную оценку запрещенности / незапрещенности контента, тематику, жанр вебтекста и жанр веб-сайта, на котором был размещен данный текст. 2. Тестовая коллекция веб-текстов, включающая около 123 тыс. русскоязычных веб-страниц, часть которых относится к теме «Наркомания и наркотики», но не содержит запрещенный контент. 3. Коллекция собрана вручную на основе сайтов Яндекс-каталога (https://yandex.ru/yaca). Тестовая коллекция веб-текстов, включающая 569 вебтекстов на русском языке, содержащих запрещенный контент по теме «Наркомания и наркотики».
Полученные коллекции включают веб-тексты различных функциональных стилей – от нормативных и официальных документов до сообщений и комментариев на форумах и в социальных сетях, – что позволяет адекватно оценить качество фильтрации на всем многообразии интернет-жанров. К сожалению, в открытом доступе отсутствуют размеченные коллекции текстов по данной тематике, чем объясняется небольшой объем первой и третьей коллекций, которые создавались нашими экспертами вручную. Объем веб-текстов в коллекциях варьировался от 213 до 65655 Кб.
На основе обучающего корпуса текстов был построен словарь, который в дальнейшем был дополнен терминами из специализированных словарей. Словарь содержит более 50 тыс. терминов (без учета стоп-слов). Его общий количественный и качественный состав отражен в Таблице 1.
Таблица 1 Терминологический состав словаря Лексем Слово- Подозри- Жанро- Сленг комплексов тельных вых 24175 26540 5349 1895 3161 Как видно из таблицы 1, ключевые слова для предварительного отбора текстов по теме («подозрительные», т. е. однозначные тематические термины) составляют десятую часть объема словаря.
Оценка качества классификации была дана в виде показателей полноты (R), точности (P) и F-меры. Рассматривалась бинарная классификация (1) и уточняющая тематическая классификация (2). Оба сравниваемых метода основаны на машинном обучении, но во втором случае используется расширенный набор тем, причем для каждой из них указано, является ли она запрещенной или нет. (1) (2) Таблица 2 Сравнение методов классификации R P F-мера Скорость 52,0% 65,4% 57,9% ~ 0,07 мс 72,6% 69,7% 71,1% ~ 0,10 мс Как видно из Таблицы 2, использование уточняющего тематического рубрикатора, построенного по специальной ориентированной на задачу фильтрации методике, позволило улучшить показатели полноты и точности в сравнении с бинарной классификацией (когда контент сразу классифицируется на два класса – запрещенный и незапрещенный), соответственно, на 20% и 10%. Однако эти показатели все еще являются низкими. Таблица 3 Оценка качества фильтрации Кол-во Правильных (страниц) ответов (%) Нейтральная коллекция Отрицательная коллекция ~ 123 тыс.
99.4% 569 фильтрации, в которой тематическая классификация сочетается с жанровой и применяются решающие правила (отметим, что результаты, полученные тематическим классификатором, использовались здесь в качестве промежуточных.)
Таким образом, ошибка первого рода составила 0,6%, ошибка второго рода – 13,01%.
Большая часть ошибок обоих типов связана с неполнотой словаря. Так, возможны существенные лакуны в подсловарях латиницы и транслита (например, отсутствуют названия наркотиков 25inbome, JWH, нбоме, дживиаш). Не всегда в словаре учтена возможная лексическая или лексикоморфологическая неоднозначность (например, доб. может представлять в тексте наркотик или сокращение от добавочный).
Ложно-положительная оценка характерна для страниц, которые не проходят предварительный этап фильтрации ввиду отсутствия однозначной тематической лексики. Так, не блокируются (отсеиваются как неподозрительные) страницы, содержащие предложения или рекламу наркотических веществ, завуалированные путем использования неоднозначной лексики (например, соли для ванн), а также намеренно искаженные (зашифрованные) тексты.
Ложно-отрицательная оценка характерна для следующих типов веб-текстов: а) информационные статьи о наркотических веществах или растениях (в частности, о выращивании декоративных растений), жанр которых не определен как энциклопедическая/ словарная статья; б) новостные тематические тексты с позитивной окраской (Умеренное потребление алкоголя и амфетамина может улучшить память у пожилых людей); в) тематически нейтральные страницы комментариев на форумах и в блогах с вкраплением шутливых тематических комментариев (Наркотой там не барыжите, случайно? – реплика при обсуждении вопросов информационной безопасности). Заключение
Предложенный подход реализован в виде приложения, интегрированного в платформу Plesk. Приложение позволяет выявлять и блокировать сайты, содержащие запрещенную информацию по теме «Наркомания и наркотики» и/или осуществляющие незаконную деятельность по торговле, распространению, транспортировке, изготовлению и пропаганде наркотиков.
К преимуществам предложенного подхода относятся, во-первых, глубокий анализ текстового контента веб-ресурса с учетом его тематических и жанровых особенностей, во-вторых, совмещение статистических и инженерных методов анализа текста, в частности, предложен уникальный метод принятия решения о запрещённости контента на основе решающих правил, учитывающих результаты его жанровой и тематической классификации, втретьих, масштабируемость и технологичность разработанных программных средств, что позволяет легко адаптироваться к различным предметным областям посредством настройки базы знаний.
В предложенном подходе, на наш взгляд, достигнут баланс между ручной работой эксперта и автоматическим обучением, где, во-первых, словари создаются и обучаются автоматически, а эксперты пополняют их номенклатурными терминами и сленгом, во-вторых, неполнота жанровых (функциональных) описаний интернет-ресурсов (создаются экспертом) компенсируется поддержкой статистического жанрового классификатора, и наконец, решающие правила потенциально могут строиться автоматически, а оценка применимости правила для каждого конкретного случая оценивается по вероятностной формуле.
Дальнейшее развитие описанной технологии связано с необходимостью автоматизации поддержки словаря в актуальном состоянии. Автоматизация возможна на базе жанрового анализа страниц, относящихся к жанрам «Нормативный список» (отслеживание словарей официальных наименований контролируемых веществ и растений) и «Словарная статья» (отслеживание словарей универсального и тематического сленга, обсценной лексики). Однако главным источником тематической лексики по-прежнему остаются эксперты, т. к. интернет-словари тематического сленга существенно отстают от происходящих в среде наркоманов изменений лексики.
В качестве актуального направления исследований по данной тематике также рассматривается возможность применения методов сентимент-анализа для улучшения распознавания трудноуловимой темы пропаганды наркотиков, представленной в информационных сообщениях, создающих привлекательный образ наркомана и процесса употребления наркотических веществ. Благодарности Литература