В рамках теорий цифровой обработки сигналов (Digital Signal Processing) и сложных сетей (Complex Network) [10, 11] предложено несколько методов построения сетей на основе временных рядов, среди которых можно назвать несколько методов построения графов видимости (см. обзор [12]), в частности, так называемый граф горизонтальной видимости (Horizontal Visibility Graph - HVG) [13,14]. Эти подходы также позволяют строить сетевые структуры на основании текстов, в которых отдельным словам или словосочетаниям некоторым специальным образом поставлены в соответствие числовые весовые значения. В качестве функции, ставящей в соответствие слову число, можно рассматривать, например, порядковый номер уникального слова в тексте, длину слова, «вес» слов в текстах, общепринятую оценку TFIDF (в каноническом виде, равную произведению частоты слова в фрагменте текста - term frequency - на двоичный логарифм от величины, обратной количеству фрагментов текста, в которых это слово встретилось - inverse document frequency) или ее варианты [15, 16], а также другие весовые оценки.
Предлагается методика компактифицированного графа горизонтальной видимости для создания сети слов и выявления тех слов в тексте, которые определяют его информационную структуру. Исследованы свойства таких сетей слов, показано, что они являются безмасштабными, а также, что среди узлов с наибольшими степенями имеются слова, определяющие не только структуру связности текста, но и его информационную структуру.
Наряду с последовательным, «линейным»
анализом текстов, построение сетей, узлами
которых являются их элементы – слова или
словосочетания, фрагменты естественного языка,
позволяет выявлять структурные элементы текста,
без которых он теряет свою связность. При этом
актуальной является задача определения того, какие
из важных структурных элементов оказываются
также информационно-значимыми, определяющими
информационную структуру текста. Такие элементы
могут использоваться также для идентификации еще
не достаточно четко определенных компонент
текста, таких как коллокации, сверхфразовые
единства [1], например, при поиске подобных
фрагментов в различных текстах [
Известно несколько подходов к построению
сетей из текстов, так называемых сетей слов
(Language Network), и различные способы
интерпретации узлов и связей, что приводит,
соответственно, к различным видам представления
таких сетей. Узлы могут быть соединены между
собой, если соответствующие им слова стоят рядом
в тексте [
В качестве весовой оценки TFIDF из полного текста, состоящего из N слов, текст разбивается на фрагменты, содержащие заданное количество слов M (например, M 500 ). Затем для каждого слова i , входящего в текст, подсчитывается количество фрагментов df (i) , в которые это слово входит, а также общее количество вхождений данного слова i в текст – n(i) . После этого по формуле tfidf (i) n(i) N
N log M df (i) рассчитывается среднее значение TFIDF весовой оценки каждого слова.
При построении сетей слов в данной работе
также будет использована дисперсионная оценка
важности слов [
Интервал между последовательными появлениями слова при таких обозначениях будет , где: A – среднее значение последовательности A1, A2 ,..., AK , A2 – последовательности A12 , A22 ,..., AK2 , K –количество появления слова A в тексте.
По сути, дисперсионная оценка позволяет отделить слова, встречающиеся в тексте относительно равномерно (для равномерно распределенных слов эта оценка равна нулю), от слов, распределенных неравномерно. Т.е. это оценка различительной, дискриминантной силы слов, в частности, для информационного поиска. Идея дисперсионной оценки очень близка к TFIDF, при этом менее распространена, однако более корректно применима к полным единичным текстам, а не к массивам текстов, как TFIDF.
В отличие от остальных рядов, изучаемых в рамках цифровой обработки сигналов, ряды из цифровых значений, соответствующих словам, преобразуются в графы горизонтальной видимости, в которых узлам соответствуют не только цифровые значения, но сами слова, выражающие определенное смысловое значение.
Сеть слов с использованием алгоритма горизонтальной видимости строится в три этапа. На первом на горизонтальной оси отмечается ряд узлов, каждый из которых соответствует словам в порядке появления в тексте, а по вертикальной оси откладываются весовые численные оценки (визуально – набор вертикальных линий, см. рис.1).
На втором этапе строится традиционный граф
горизонтальной видимости [21]. Для этого между
узлами существует связь, если они находятся в
«прямой видимости», т.е. если их можно соединить
горизонтальной линией, не пересекающей никакую
другую вертикальную линию. Этот
(геометрический) критерий можно записать,
согласно [
Алгоритм построения можно представить удобным для вычисления способом. Так например, на рис. 1 для узла-слова An2 смежными в сети 1 n2 A , а C7 m n 5 – ближайшее справа от Рис. 1. Пример построения графа горизонтальной видимости В качестве текстов при построении сетей слов в рамках данной статьи рассматриваются рассказы В. Астафьева «Ловля пескарей в Грузии», Ю. Бондарева «Река», И. Грековой «Без улыбок», Л. Петрушевской «Свой круг» и В. Пелевина «Проблема верволка в средней полосе». Следует, отметить, что авторами проводились подобные исследования на базе десятков других произведений, в том числе, значительно более объемных. Анализировались также законодательные акты Украины и России. Концептуальные результаты анализа при этом совпадали с приведенными ниже, поэтому остановимся на предложенных произведениях, как примерах. Рис. 2. Этапы построения компактификационного графа горизонтальной видимости Для всех построенных КГГВ-сетей слов было определено распределение степеней узлов, которое оказалось близким к степенному ( p(k) Ck ), т.е. эти сети являются безмасштабными. Были проведены расчеты параметров сетей для всех рассмотренных литературных произведений. В результате оказалось, что для всех из них коэффициент изменялся в диапазоне от –1 до –0,97 при относительно небольшой точности аппроксимации R2 степенного распределения, которая повышается при увеличении длины текста. Для рассказов эта точность составила 0,5-0,7, а для сравнительно больших произведений, исследованных авторами, например, для романа М. Булгакова «Мастер и Маргарита» – 0,95.
В состав узлов с наибольшими степенями в для
КГГВ-сетей, наряду с личными местоимениями и
другими служебными словами (частицы, предлоги,
союзы и т.д.), попали слова, определяющие
информационную структуру текста [
Для сравнения исследовано поведение
простейших сетей языка, когда не первом этапе
построения сети связываются соседние слова,
входящие в текст, а на втором происходит
компактификация сети. Очевидно, вес узлов в этой
сети соответствует частоте встречаемости слов, а их
распределение – закону Ципфа [
Если обозначить различных слов, весомым узлам
– множество из N соответствующих наиболее приведенной простейшей сети
В частности, в КГГВ-сети по весовым значениям TFIDF, по рассказу В. Астафьева ««Ловля пескарей в Грузии» в состав множества попали такие слова, как «Дядя», «Вася», «Собора», «Хозяин», «Грузии». В КГГВ-сети для этого же рассказа по весовым значениям, соответствующим дисперсионным оценкам, в состав множества попали дополнительно такие слова, как «Пескаря», «Рыбы», «Храм», «Горы», «Витязь» и др.
При анализе рассказа Л. Петрушевской «Свой круг» в множество попали такие слова, как «Алешка», «Отец», «Время», «Жизни», «Улице». В КГГВ-сети для этого рассказа по весовым значениям, соответствующим дисперсионным оценкам, в состав множества попали дополнительно такие слова, как «Любви», «Ребенка», «Глаз», «Андрея».
В случае рассказа В. Пелевина «Проблема верволка в средней полосе» в состав множества попали такие слова, как «Поляны», «Лапы», «Декан», «Дороги», «Машины», «Девочка». В КГГВ-сети для этого же рассказа по весовым значениям, соответствующим дисперсионным оценкам, в состав множества попали те же слова, что и в предыдущем случае, и, кроме того, слова «Волки» и «Волков», играющие особую информационную роль в данном произведении.
Представления об информационной значимости рассматриваемых наборов слов, степени их важности для понимания смысла литературного произведения были подтверждены в ходе экспериментов с информантами. Так, для всех текстов были проведены эксперименты со стандартной инструкцией «Прочитайте текст. Подумайте над его содержанием. Выпишите 10-15 слов, наиболее важных для его содержания» (более 20 информантов для каждого текста) [21].
В результате проведенных исследований сетей:
Предложен алгоритм компактифицированного горизонтальной видимости (КГГВ). построения графа На основе последовательности дисперсионных оценок слов текста и TFIDF, с помощью метода КГГВ, построены сети слов различных текстов.
Для литературных текстов среди узлов соответствующих КГГВ с наибольшими степенями присутствуют слова, не только обеспечивающие связность структуры текста, но и определяющие его информационную структуру, отражают семантику литературных произведений. Алгоритм определения веса слов, базирующийся на дисперсионной оценке оказался более эффективным для определения информационно-значимых слов, играющих важное значение для структурной связности в литературных текстах, чем алгоритм TFIDF. Литература
The Use Of Horizontal Visibility Graphs To Identify The Words That Define The Information Structure Of The Text
A compactified horizontal visibility graph for the language network and identify the words that define the information structure of the text is proposed. It was found that the networks constructed in such way are scale free, and have a property that among the nodes with largest degrees there are words that determine not only a text structure communication, but also its informational structure. КГГВ–дисперсионная оценка Простейшая сеть СЕБЯ ЛИ КУДА ЕМУ БРАТЬЯ СЕРДЦЕ НАД МЕНЯ ГЕЛАТИ БЕЗ ЧЕМ НАС БЫЛА ЗДЕСЬ ВСЕГО УЖ СРЕДИ РЕЧКИ НЕТ НАШЕЙ ЭТОТ БЕЗ ВСЕХ ТУТ ЛИ ХОЗЯИН ВОТ НАШЕЙ СЕБЯ ГДЕ ТОГДА КУДА МЕНЯ КОТОРЫЕ ЗЕМЛИ ЗДЕСЬ ТОЖЕ ЧТОБЫ ЛИШЬ ЧЕМ 2. Л. Петрушевская, «Свой круг» ЛИ ВООБЩЕ ТЕПЕРЬ СВОЕЙ ОДИН НАДЯ ЛЕТ ГДЕ ВСЕГДА ТАМ ОЧЕНЬ О АЛЕША ВРЕМЯ ТОЖЕ ТОГО СВОЮ СТАЛ ПОД МОЙ