Методы автоматического построения формализованного представления содержания материалов электронных средств массовых коммуникаций для решения задачи мониторинга и оценки деятельности органов власти ©Ю ВНикитин Методы автоматического построения формализованного представления содержания материалов электронных средств массовых коммуникаций для решения задачи мониторинга и оценки деятельности органов власти 51FDC72AE3058D464267DD2F63E6DDB1 GROBID - A machine learning software for extracting information from scholarly documents
Аннотация

Графематический анализ предназначен для предварительного анализа текста по представляющей его последовательности символов [2,3]. В результате этого анализа определяется язык текста, устанавливаются местоположения слов, предложений, абзацев, фамильно-именной группы, дат, адресов и т.п.

Морфологический анализ слов естественных языков предназначен для определения структуры слов и назначения им грамматических признаков, необходимых для выполнения последующих процедур автоматической обработки текстовой информации (например, синтаксического и концептуального анализа текстов) [8,9].

Семантико-синтаксический анализ текстов проводится с целью формализованного представления их структурывыделения в них смысловых единиц и установления связей между ними. При этом структура текстов может интерпретироваться по-разному и описываться на различных формализованных языках [7,8].

Концептуальный анализ текстов предназначен для определения смысловой структуры текстов, выявления их понятийного (концептуального) состава текстов и установления связей между наименованиями понятий [7,8].

Дистрибутивно-статистический анализ текстов естественных языков предназначен для установления статистических закономерностей совместной встречаемости наименований понятий [1,9].

Требования к извлечению данных
Основной
Труды 16-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2014, Дубна, Россия, 13-16 октября 2014 г.данных такого объема, а также не было четкогопредставления о возможностях формализациитекстов, доступных методах преобразованиянеструктурированных данных в структурированные-т.е. не было понятия о доступном инструментарии.В данной статье мы предлагаем возможныйинструментарий для проведения таких оценок ипредлагаем методы автоматической обработкинеструктурированнойтекстовойинформации,позволяющей разработать модель количественныхпоказателей. Мы также рассматриваем условия, прикоторых приведенные методы будут адекватныпоставленной задаче в рамках заданной предметнойобласти, посредством настройки декларативныхсредств к заданной предметной области с учетомбольшого объема обрабатываемых данных.В возможности создания формализованного данной статье рассматриваются представления информационных публикаций в сети Интернет для получения показателей количественной оценки средств семантической предметной области. адекватных результатов анализа в заданной сообщений для получения наиболее обработки методы адаптации автоматизированных описания информационных сообщений и методы построения формализованного таких публикаций. Также рассматриваются деятельности органов власти по материалам Мы провели моделирование процесса автоматизированной обработки текстов с целью получения количественных показателей на примере информационных сообщений Интернет-СМИ и пользователей социальной сети «ВКонтакте» о деятельности органов власти Ханты-Мансийского автономного округа (ХМАО).оценок по результатам изучения материалов ставят задачи перехода от качественных экспертных В этих условиях эксперты-аналитики все чаще о деятельности органов власти. аналитиков в области оценки общественного мнения этих сведений, затрудняя деятельность экспертов-значительной мере усложняет задачу обработки подобной информации с каждым годом в с другой стороны, все более возрастающий объем Все более широкое приобщение населения к электронным информационным ресурсам, в том числе рост популярности социальных сервисов среди молодежи и стимулирование государством использования гражданами электронных госуслуг, с одной стороны, предоставляет все больше возможностей для оперирования данными, получаемыми в электронном виде по сети Интернет,1 Введение В настоящее время приобретает все большую актуальность получение обратной связи от населения при оценке деятельности органов власти. Такая оценка востребована как самими органами власти для принятия оперативных решений, их вышестоящими и надзорными структурами, так и различными общественными и исследовательскими организациями по мониторингу общественного мнения.информационных автоматизированным количественным методам сообщений к оценки общественного мнения о деятельности органов власти. Такие методы имеют два неоспоримых взаимосвязанных преимущества: во-первых, дают возможность получения более объективных статистических показателей, благодаря росту объема обрабатываемых данных, во-вторых, максимально освобождают результаты оценки от субъективного экспертного представления о действительной ситуации по тем же самымОдним из возможных источников сборапричинамивследствиеболееглубокойинформации исследованийдля является проведения информационное подобныхавтоматизации информации, воспринять которую в ее исходном обработки этого объемапространство электронных средств массовыхвиде за короткий период времени ни один эксперткоммуникаций в сети Интернет, включающее такиепросто не в состоянии.источники информации, как электронные средства массовой информации (СМИ), публикации в блогах и на форумах, сообщения в социальных сетях, сервисы коротких сообщений (например, Twitter) и электронные ресурсы обратной связи с населением на государственных порталах по приему жалоб и обращений граждан.В то же время решение данной задачи сталкивается с рядом комплексных проблем. Прежде всего, необходимы современные и адекватные средства семантического анализа неструктурированной текстовой информации. Далее необходимо определить набор показателей для проведения количественного статистическогоанализа. В настоящее время имеется серьезнаяпроблема с отсутствием определенного наборапоказателей для подобных оценок. Это связано стем, что ранее у занимающихся этими вопросамиисследователей не было большого опыта обработки
2 Программно-техническое обеспечение 2.1 Общие требования к процессу автоматизациив) выделение и классификация объектов, ихпризнаков и отношений между ними иклассификация текстов по типам отношений авторасообщения к основным объектам мониторинга;г) автоматизированная настройка декларативных(словарных) средств лингвистического процессорана заданную предметную область.3. Обработкаданныхсприменениемтехнологий «Big Data»:а) обеспечениераспределенноймассово-параллельной лингвистической и статистическойобработки загружаемых данных;б) обеспечение масштабируемости на множествоузлов обработки без деградации инфраструктурыобработки данных [2, 3].Подзадача 1 (мониторинг материалов) являетсядостаточнотривиальнойзадачей,имеющеймножествопрограммно-техническихрешений.Подзадача 3 (обработка данных с применениемтехнологий «Big Data») является самостоятельнымнаправлением исследований, и мы оставляем ее зарамками данной статьи, при этом учитываятребованияпораспределенностиимасштабируемости к средствам лингвистическойобработки текстов.В данной статье мы рассматриваем подзадачу 2Для автоматизации решения задачи оценки деятельности органов власти по материалам Интернет-публикаций необходимо обеспечить(лингвистическая обработка неструктурированных текстов), методы ее обеспечения и требования к созданию декларативных (словарных) средств [1, 7].программно-техническую реализацию следующихосновных ее подзадач:1. МониторингматериаловИнтернет-публикаций:а) консолидацияинформационныхпотоковразличных типов: ленты новостей на сайтах ипорталах Интернет-СМИ, органов власти икомментарии пользователей к ним, публикации нафорумах и в блогах, сообщения пользователейсоциальных сетей и сервисов коротких сообщений,электронные обращения граждан и другиедоступные ресурсы;б) оперативныймониторингизмененияинформациинаподключенныхресурсах(информационных источниках) и сбор (считываниеи загрузка) содержимого текстовых материалов;в) унификацияформатовпредставлениятекстовых сообщений, извлечение возможныхреквизитовпубликаций,аналогичныхбиблиографическому описанию (источник, рубрика,автор, наименование публикации, временной периоди т.п.), в зависимости от типа источника.2. Лингвистическаяобработканеструктурированных текстов:а) автоматическое создание формализованногопредставления смысловой структуры текста;б) кластеризация сходных по смысловомусодержанию текстов -группировка текстовпубликаций по темам (информационным поводам);
2.2 Требования к лингвистическому программному обеспечениюСовременные системы автоматизированнойсемантической обработки неструктурированнойтекстовой информации, разрабатываемые длярешения задач данного типа, должны обеспечиватьвыполнение следующих процедур лингвистическогоанализа текстов [1-9]:а) графематический анализ текста;б) морфологический анализ слов;в) семантико-синтаксический анализ текстов;г) концептуальный анализ текстов;д) дистрибутивно-статистическийанализтекстов.
3 Экспериментальные данные 3.1 Предметная область и исходные данные для испытанийпроизводственные 3) короткие сообщения Twitter (твиты) -SMS-объекты, географическиеб) степень доверия (например, официальный информационных сообщениях -позитивные, семантических поиск и подбор документов, ихобъекты, бренды) играет ключевую роль в подобные текстовые сообщения строгоисточник, аккредитованное СМИ, «бульварная негативные или нейтральные. автоматическое реферирование и перевод.задачей семантической обработки неструктурированной при выполнении текстовой информации является представление смысловой структуры текста в формализованном виде [8, 9]. В классическом виде формализованное представление текстового содержания документа должно содержать: а) библиографические реквизиты (например, информационный источник, рубрика, автор, наименование и дата публикации и т.п.); б) аннотацию или реферат документа; в) список ключевых выражений; г) классификацию документа по смысловому содержанию -отнесение его к той или иной рубрике и кластеризация (группировка) текстов публикаций по темам (информационным поводам). Рассмотрим более подробно каждый из реквизитов формализованного описания применительно к поставленной задаче. Библиографические реквизиты выделяются на этапе мониторинга информационных публикаций. Структура реквизитов документа (статьи, сообщения, комментария) закладывается в шаблон загрузки и парсинга (разбора на структурные элементы) страницы с текстом публикации для каждого конкретного информационного источника. Соответственно, выделение данных реквизитов происходит на стадии унификации формата документа. При этом на уровне данных реквизитов, определенных еще до проведения лингвистического анализа, проводится классификация документа, основанная на типе информационного источника. Такая классификация может проводиться по различным основаниям: а) тип документа (например, статья в СМИ, официальное сообщение, публикация в блоге, комментарий в социальной сети, электронное обращение граждан и т.п.); построении формализованного описания документа для его последующего семантического анализа [2, 3]. Как и в случае с аннотацией, в отличие от авторских ключевых выражений (указанных вручную и отражающих авторское представление о важных, на его взгляд, терминах документа), данные выражения выделяются семантико-синтаксическим и словарным методами, основываясь на реальном содержании текста и на значимости терминов в заданной предметной области (выявленной дистрибутивно-статистическим методом). Выделение объектов из списка ключевых выражений, таких как должностные лица, организации, территории, производственные объекты, географические объекты и бренды, представляет отдельный интерес, т.к. данные выражения зачастую являются объектами мониторинга. В отличие от обычных ключевых выражений, чаще предназначенных только для визуализации смыслового содержания, и чуть реже -фигурирующих в качестве тематических тегов документа, выделение объектов мониторинга из текстов позволяет определить основные опорные точки для формализованных показателей: 1) выделить из текста объекты и их предикаты; 2) дать классификацию объектов и отношений к объектам на основе классификации предикатов; 3) установить по тексту связи между объектами. Классификация объектов проводится на основе базового классификатора лингвистического процессора и дополнительного специально созданного по корпусу текстов классификатора заданной предметной области. Базовый классификатор содержит только основные классы (например, персона, должность, географический объект, дата-время, обычный концепт (термин) и т.п.) Классификатор предметной области позволяет задать более конкретную классификацию применительно к заданной предметной области (например, орган федеральной, региональной, муниципальной власти, его подразделение или подведомственное предприятие и т.п.). Классификация объектов позволяет отнести информационное сообщение к той или иной рубрике, а также применительно к нашей задаче определить к какой ветви структуры органов власти относится объект мониторинга для более нацеленного анализа высказываний, приведенных в публикациях. Классификация предикатов позволяет установить отношения к основным объектам мониторинга (органам власти и государственным функциям) авторов суждений, приведенных в ограниченного размера, характеризующиеся тезисным стилем изложения информации, большим количеством сокращений и наличием хэш-тегов вида #subject, при этом часть из этих тегов фигурирует в качестве дополнительных идентификаторов темы, расположенных в начале или в конце сообщения, а часть из низ являются непосредственными членами синтаксической структуры предложения (т.е. значимыми словами в связном тексте). 3.2 Использование лингвистического программного обеспечения Для проведения экспериментов мы использовали разработанное авторами статьи лингвистическое программное обеспечение (ПО) МетаФраз [10]. кластеризацию документов, морфологический и сущностей и установления связей, рубрикацию и текстов на естественном языке, извлечения (смысловой) обработки неструктурированных поддерживающих функционал семантической автоматизированных систем МетаФраз, продукт Системы, входящий в состав МетаФраз (MF Text Analyst R10) -программный 4) Система семантической обработки текстов перевода МетаФраз. формат словарей МетаФраз и модуль Системы корпусу текстов, конвертации текстовых словарей в включает модули создания частотных словарей по создания и верификации словарей МетаФраз, систем МетаФраз, поддерживающих функционал Системы, входящий в состав автоматизированных (MF Lingware Complex R10) -программный продукт 3) Лингвистический комплекс МетаФраз лингвистических процедур Системы. библиотек, обеспечивающих выполнение всех включающий набор лингвистических программных перевода (Kernel) -основной модуль Системы, 2) Ядро лингвистического процессора и системы базовых лингвистических процедур. текстов, а также набор грамматических таблиц для перевода и семантической (смысловой) обработки средств для задач фразеологического машинного содержащий комплекс декларативных (словарных) (MF Dictionary Lib R10) -основной ресурс Системы, 1) Библиотека словарей МетаФраз компоненты: проведения экспериментов, входят следующие В состав ПО МетаФраз R10, используемого для компьютерной лингвистики. отдельных функциональных задач в области продуктов, предназначенных для решения (Системы), состоящего из нескольких программных многофункционального программного комплекса в виде единого интегрированного Лингвистическое программное обеспечение МетаФраз R10 (Metafraz Lingware R10) разработанопресса», подписанное обращение гражданина, анонимное сообщение и т.п.); в) вид сообщения (например, информационное сообщение, жалоба, комментарий к сообщению, мнение пользователей сети и т.п.); г) отношение к власти (например, подведомственный источник, аффилированный источник, оппозиционный источник, независимая пресса и т.п.). Аннотация к тексту документа в общем случае, может быть авторской и изначально сопровождать данный текст, а может отсутствовать в исходном тексте, тогда средствами лингвистического процессора создается автоматический реферат документа [9]. В отличие от автореферата (авторского реферата, отражающего авторское представление о важных, на его взгляд, тезизах документа), автоматический реферат выделяет значимое содержимое дистрибутивно-статистическим способом, основываясь на реальных смысловых акцентах в тексте и на значимости терминов (объектов) в заданной предметной области. Так же в отличие от автореферата, который может представлять собой стандартный шаблон с аналитическими ответами на ключевые вопросы о содержании документов данного типа, т.е. фактически являющимся пересказом (например, автореферат диссертации), автоматический реферат содержит реальный, не измененный текст документа. Зачастую документ, содержащийся в базе данных (БД), может интересовать пользователей в разрезе различных тематик. В таком случае необходимо подготовить автоматический контекстный реферат документа в разрезе рассматриваемой тематики или поискового запроса. В отличие от аннотации такой реферат необходимо строить каждый раз заново с учетом потребности пользователя в той или иной информации, а также ограничений на объем реферата. С помощью автоматического реферирования также можно выравнивать объемы сравниваемых по смыслу документов -для задач кластеризации документов с аналогичным содержанием. Ключевые выражения применительно к материалам электронных публикаций в рамках нашей задачи не являются важными средством визуализации смыслового содержания текста, в отличие, например, от текстов научно-технических публикаций [4-8]. При этом список ключевых выражений (наиболее значимых для данного текста с учетом предметной области) и выделенных из текстов объектов (например, персоны, должности, должностные лица, организации, территории, Кластеризация (группировка) документов выполняется на последнем этапе лингвистической обработки документов. Для проверки изложенной гипотезы авторы провели моделирование 5) Электронная библиотека документов МетаФраз (база данных) -ресурс, входящий в состав Системы семантической обработки текстов МетаФраз, предназначенный для загрузки и хранения в БД документов (текстовых файлов) и результатов их лингвистической обработки. Электронная библиотека документов реализована с использованием СУБД MS SQL Server. ПО МетаФраз обладает всеми необходимыми программными процедурами лингвистической процесса автоматизированной обработки текстов с целью получения количественных показателей на примере обработки неструктурированных текстов, необходимых для решения данной задачи, и позволяет адаптировать декларативные средства для информационных сообщений Интернет-СМИ и настройки на заданную предметную область путем пользователей социальной сети «Вконтакте» о быстрого автоматизированного создания словарей деятельности органов власти Ханты-Мансийского по корпусу текстов. автономного округа (ХМАО). Сначала мы провели сбор и анализ региональных местного самоуправления Далее мы собрали «ВКонтакте» в объеме около употребляемых сообщениями; связями с предыдущими комментариями и несвязной структурой текстов и анафорическими молодежной неформальной, нецензурной лексики, жаргонизмов и профессионализмов, неологизмов, значений слов, сокращений, орфографических ошибок, опечаток, неправильно форумов -характеризуются большим количеством 2) тексты социальных сетей, блогосферы и строгим языковым стилем; экспертные заключения -любые связные тексты со формальные заявления, обращения граждан, 1) официальные тексты, публикации СМИ, особенностей: отдельным корпусам текстов с учетом их настройки декларативных средств по трем сделаны выводы о необходимости разделения По результатам первичного анализа текстов данных. проведения нашего эксперимента по извлечению типов, и не использовали в дальнейшем для сообщений информационных источников различных анализа и сравнения лексического состава Twitter, который мы рассматривали только для представительный набор коротких сообщений Кроме того нами был проанализирован определяющей тональности высказываний граждан. неформатированного текста для анализа лексики, 650 Мб пользовательские публикации социальной сети региональные (www.admhmansy.ru). Ханты-Мансийска (www.admhmao.ru) и городского портала органов сайтов органов государственной власти ХМАО 1000 статей по материалам Интернет-СМИ ХМАО, инфраструктуры и должностных лиц в объеме около выделения наименований органов власти, объектов публикаций ХМАО с целью автоматизированного 3.3
Автоматизированная настройка декларативных (словарных) средств на заданную предметную областьотношения к объектам мониторинга: данных. публикаций в социальных сетях с точки зрения их проводить количественный статистический анализ частоты вычисляются такие параметры как его кратность, накопленная частота, накопленная кратность и относительная накопленная частота. Эти параметры позволяют выявить частотный понятийный состав предметной области и соотнести его с параметром покрытием этой частотой текстов предметной области. Автоматизация составления словарей позволяет в короткие сроки и с минимальными трудозатратами создать для заданной предметной области систему взаимосвязанных наименований понятий, основанную на корпусе реальных текстов в предметной области. 3.4 Создание классификаторов в предметной области Для создания классификаторов в предметной области были реализованы следующие этапы обработки корпуса текстов собранных публикаций: 1) разработаны методы, алгоритмы и ПО для выявления предикативных (глагольных) словосочетаний, характеризующих направление деятельности органов государственной власти и а) объект 1; б) предикат-связь; в) объект 2. Также было проведено последовательное отождествление документов по степени смысловой близости для кластеризации документов -группировка текстов публикаций по темам (информационным поводам). Для отождествления смысловой близости документов в нашей задаче применялись не полные тексты документов, а их автоконспекты. Автоконспект документа, представляющий собой автоматический реферат по наиболее значимым для данного текста и всей предметной области ключевым выражениям, позволяет провести группировку документов по их основному (наиболее значимому) информационному поводу. этот процесс также облегчается фиксированным (изначально заданным в настройках лингвистического процессора) объемом автоконспекта. 3.6 Оценка применимости полученных показателей оценки их качества по корпусу текстов публикаций СМИ; 2) разработаны методы, алгоритмы и ПО для выявления оценочных суждений о деятельности органов государственной власти и оценки их качества (по корпусу текстов сообщений социальных сетей); 3) проанализирован корпус текстов СМИ, относящихся к тематике деятельности органов власти ХМАО, автоматизированным способом структурой органов власти региона и их 4) по корпусу текстов СМИ выявлено более 6000 предикативных (глагольных) характеризующих направление деятельности органов государственной власти и оценки их качества; 5) определены типы выделенных объектов и проведена их классификация, определяющая их отношение к структуре органов власти: -губернаторская структура (губернатор лично, пресс-служба, аппарат, аффилированные лица губернатора); -исполнительная власть (правительство, министерства, госпредприятия); -муниципальная (городские и районные власти, коммунальные службы, муниципальные предприятия) -и их структурным подразделениям и выполняемым государственным функциям; 6) определены типы сообщений СМИ и предоставляемых показателей, позволяющих позволит существенно увеличить количество группировки сообщений с привлечением экспертов Расширение возможностей классификации и предприятий и государственных услуг и т.п. власти и функциональной принадлежности деятельности власти в разрезе иерархии органов -законодательная власть; СМИ, откликам пользователей сети, оценкам анализ сообщений по интенсивности воздействия что дает возможность проводить многомерный (позитивная, негативная, нейтральная) -в) оценка основного объекта мониторинга их подведомственных организаций; повод, в иерархической структуре органов власти и мониторинга, определяющего информационный б) положение основного объекта соцсетей); (публикации СМИ, высказывания пользователей а) тип информационного сообщения словосочетаний, нескольким основаниям: 2) все сообщения классифицированы по деятельностью (государственными функциями); значимости в общем объеме публикаций; встречаемости информационного повода и его доли выделено свыше 2000 объектов, связанных со количественно измеряемый параметр частоты информационным поводам -что дает пользователей «ВКонтакте») сгруппированы по 1) все сообщения (публикации СМИ, сообщения количественного анализа по текстам публикаций: следующие данные, пригодные для проведения информационным поводам позволили получить Представленное формализованное описание документов и методы его построения, а также методы кластеризации документов поДля решения задач автоматической обработки информации в заданной предметной области необходимо провести работу по составлению семантических декларативных средств, в которых представляется понятийный состав предметной области и фиксируются смысловые отношения между понятиями. Общая технологическая схема составления концептуального словаря представляется в следующем виде. Предварительно составленный корпус текстов подвергается обработке процедурой семантико-синтаксического и концептуального анализа текстов, в результате чего из текстов выделяются отдельные слова и словосочетания различной длины. После этого по массиву выделенных из текстов слов и словосочетаний составляется частотный словарь. Полученный словарь обрабатывается процедурой орфографического и синтаксического контроля, в результате чего из этого словаря исключаются некорректные слова и словосочетания. Частотная часть словаря подвергается лингвистической обработке, в результате которой из словаря исключается малоинформативная и некорректная лексика. Далее выполняется автоматическое приведение наименований понятий к их канонической форме и формируется частотный словарь наименований понятий. И, наконец, на завершающем этапе выполняется семантико-статистический анализ частотного словаря на основе статистических данных о количественном и качественном составе этого словаря. С этой целью автоматически формируется характеристическая таблица частот встречаемости слов в текстах и для каждой объектами: предварительно упорядочиваются по убыванию 5. Список установленных связей между частотного словаря. Для этого частотный словарь -информирующие сообщения 4 Заключение (преимущественно СМИ) в отношении конкретных информационных поводов (фактов, событий, В настоящей статье авторы рассмотрели возможности создания формализованного персон); -сообщения, представления содержания информационных демонстрирующие осведомленность населения по сообщений для получения показателей конкретным количественной оценки деятельности органов информационным поводам; власти по материалам электронных средств -отношение населения (позитивное, негативное, массовых коммуникаций. нейтральное) к конкретным информационным Авторы описали структуру и методы создания поводам. формализованного описания документа для этой На основе результатов этой обработки созданы задачи, а также методы создания декларативных классификационные словари объектов и отношений в заданной предметной области. средств для получения наиболее адекватных результатов анализа в заданной предметной области. 3.5 Обработка текстов средствами МетаФраз После настройки декларативных Проведенные эксперименты на реальных данных средств показали жизнеспособность данного подхода, на лингвистического программного обеспечения на основе которого можно создавать действующие заданную предметную область мы провели системы мониторинга и семантического анализа автоматическую обработку имеющегося массива информационных сообщений. тестовых данных. В то же время необходимо более серьезно Для каждого документа было автоматически сформировано формализованное представление документа, включающее: прорабатывать методы решения поставленных задач с привлечением экспертов-аналитиков, специализирующихся в данной предметной области. в) класс предиката (для отношений к объектам мониторинга). типизации б) предикат; а) объект; набором данных: 4. Список объектов с предикатами со следующим всех вхождений в тексте). е) адреса в исходном тексте (координаты д) класс объекта; предметной области; г) вес выражения в тексте с учетом в) хеш выражения; (пословно в канонической форме); б) нормализованное наименование объекта а) наименование объекта; данных по каждому из них: 3. Список объектов со следующим набором 2. Общий автоматический (автоконспект) заданного объема по документу. реферат всех вхождений в тексте). е) адреса в исходном тексте (координаты 1. Список ключевых выражений со следующим набором данных по каждому из них: д) группа (группы) по классификатору; предметной области; г) вес выражения в тексте с учетом в) хеш выражения; (пословно в канонической форме); б) нормализованное ключевое выражение а) ключевое выражение; Авторы данной статьи продолжают работы по этой проблеме.
Methods for Automatic Construction of a Formalized Representation of the Contents of Electronic Mass Communication Materials to Solve the Problem of Monitoring and Assessment of Authorities

Yury V. Nikitin, Alexander A. Khoroshilov, Alexei A. Khoroshilov This paper addresses to the possibility of generating a formalized representation of the information publications in the Internet to derive a quantitative evaluation of the authorities based on the content of such publications. It also covers methods of constructing a representation of messages and methods of adaptation of automated semantic processing tools for obtaining the most appropriate analysis results in a given domain.

АВСтаровойтов ОНПошатаев СПрохоров Хорошилов А.А. Методы автоматизированного составления и ведения словарей // Сб. Информатизация и связь / Центр информационных технологий и систем органов исполнительной власти 2013 ЮМБогданов ОНПошатаев Хорошилов А.А. Принципы создания высокопроизводительных систем обработки и анализа текстовой информации // Сб. Информатизация и связь / Центр информационных технологий и систем органов исполнительной власти 2013 ОНПошатаев АХорошилов Электронные библиотеки: перспективные методы и технологии, электронные коллекции», XV Всероссийская научная конференция RCDL 2013
Ярославль, Россия
 .А. Методы анализа текстов в технологиях «Big Data» // сб ГГБелоногов РСГиляревский СНСеледков АХорошилов О путях повышения качества поиска текстовой информации в системе Интернет // Научнотехническая информация 2012 Информационные процессы и системы / Всероссийский институт научной и технической информации РАН ГГБелоногов РСГиляревский Хорошилов А.А. Проблемы автоматической смысловой обработки текстовой информации // Научно-техническая информация 2012 11 Информационные процессы и системы / Всероссийский институт научной и технической информации РАН ГГБелоногов РСГиляревский ААХорошилов Хорошилов-мл. А.А. Автоматическое распознавание смысловой близости документов // Научно-техническая информация. Сер. 2. Информационные процессы и системы / Всероссийский институт научной и технической информации РАН 2011 ГГБелоногов РГиляревский -№ 8 Хорошилов Ал-др А., Хорошилов Ал-ей А. Развитие систем автоматической обработки текстовой информации // Нейрокомпьютеры: разработка, применение 2010 ГГБелоногов Хорошилов Ал-ей А. Единицы языка и речи в системах автоматической обработки текстовой // Научно-техническая информация 2005 11 Информационные процессы и системы / Всероссийский институт научной и технической информации РАН ГГБелоногов ЮКалинин Хорошилов А.А. Компьютерная лингвистика и перспективные информационные технологии. Теория и практика построения систем автоматической обработки текстовой информации. -Москва: Информационноиздательское агентство «Русский мир 2004 247 Сайт МетаФраз