Новгородскии государственныи университет им. Ярослава Мудрого, г. Великии Новгород, Россия ОПРЕДЕЛЕНИЕ ИНФОРМАТИВНОСТИ ИНТЕГРАЛЬНОЙ ХАРАКТЕРИСТИКИ ИЗМЕНЕНИЯ КАЧЕСТВА СИСТЕМЫ * АННОТАЦИЯ В статье предлагается подход к определению информативности характеристики изменения качества системы по зашумлённым данным при использовании ОСШалгоритма. Алгоритм на основе метода главных компонент определяет эмпирические главные компоненты согласованием направлений собственных векторов для различных наблюдений и выбор действующих переменных этих компонент на основе принятого отношения сигнал/шум. При разделении данных на полезный сигнал и шум критерий информативности, основывающийся на необходимой доле объяснённой дисперсии, теряет смысл. Поэтому определение информативности без учета характеристики шума в рассматриваемых данных бессмысленно и требуется его переопределить с учетом свойств шума. В статье построены априорные и апостериорные оценки информативности решения задачи построения интегральной характеристики изменения качества на основании задаваемого отношения сигнал/шум. Полученные подходы в построении оценок информативности проиллюстрированы на примере вычисления интегрального индикатора качества жизни. КЛЮЧЕВЫЕ СЛОВА Интегральная характеристика качества, интегральные индикаторы качества жизни, шум в измеряемых данных, отношение сигнал/шум, метод главных компонент, информативность метода главных компонент.
Однои из центральных проблем при решении задач обработки информации является проблема выбора информативного подмножества признаков и оценки его пригодности. Все чаще встречаются реальные задачи (например, в генетике), в которых небольшое число (десятки) объектов выборки описывается очень большим числом характеристик (десятками тысяч). При решении этои проблемы возникают вопросы: как организовать выбор наиболее характерных признаков, по каким критериям оценивать информативность выбраннои подсистемы признаков. Большои интерес к этим проблемам в различных областях науки и техники обусловлен многообразием прикладных задач, в которых используются результаты. Необходимость в обработке и анализе данных возникает при распознавании объектов, в обработке изображении , при изучении природных ресурсов Земли из космоса, в управлении движущимися объектами, при количественнои оценке параметров объектов и т. п.
Большинство систем анализа данных основывается на методах построения пространства признаков меньшеи размерности. Задача снижения размерности важна еще и потому, что сложность большинства алгоритмов экспоненциально возрастает с увеличением размерности изображении , а практическая реализация таких алгоритмов требует мощных вычислительных средств. Одним из широко распространенных методов сокращения размерности изображении является метод главных компонент (МГК). В настоящее время для решения задачи поиска и распознавания предлагаются множество алгоритмов, использующих МГК.
Метод главных компонент -один из способов понижения размерности, состоящии в переходе к новому ортогональному базису, оси которого ориентированы по направлениям максимальнои дисперсии набора входных данных. Вдоль первои оси нового базиса дисперсия максимальна, вторая ось максимизирует дисперсию при условии ортогональности первои оси, и т.д., последняя ось имеет минимальную дисперсию из всех возможных. Однако направления, максимизирующие дисперсию, далеко не всегда максимизируют информативность. Может случиться, что именно младшие главные компоненты несут необходимую смысловую нагрузку. Например, при создании цифровои модели рельефа, именно восьмая и девятая главные компоненты дают искомыи рельеф, а главные компоненты 12 и 13 в методе «Гусеница» свидетельствует о наличии в анализируемых данных периодики с дробным периодом [1]. На странице саи та Alglib [2] приводится пример, когда переменная с максимальнои дисперсиеи не несет почти никакои информации, в то время как переменная с минимальнои дисперсиеи позволяет полностью разделить классы.
Информативность в методе главных компонент основывается на дисперсионном критерии системы признаков, с помощью которого происходит отбор числа главных компонент [3]. Распространенныи способ выбора числа главных компонент -оставить число главных компонент, которые объясняют заданныи процент общеи дисперсии -параметр информативности Ɵ:
.
(
В работах Аи вазяна [4] МГК применяется для вычисления интегральнои характеристики качества жизни, порог информативности Ɵ выбирается 55%. В анализе пожарнои безопасности здании величина пожарного риска в зданиях, ограничиваются первыми главными компонентами, которые объясняют более 80-90 % дисперсии [5]. При исследовании показателеи сердечного ритма исключают только те главные компоненты, которые учитывают менее 5% суммарнои дисперсии переменных [6].
Статистические данные неизбежно содержат погрешность измерения и, возможно, иные случайные ошибки. Любой результат, полученный на основании этих данных, будет дублировать эти ошибки. Переход к другому моменту времени означает изменение данных, которое при неизменной структуре системы вызвано как изменением ситуации, так и случайными ошибками. Метод главных компонент на основании различных для разных моментов значений собственных векторов и собственных значений описывает неизменную структуру системы. Следовательно, именно значения собственных чисел и собственных векторов будут тем сигналом, который нужно распознать, т.е. выделить сигнал из зашумленных данных по имеющимся реализациям. Эта задача аналогична задаче восстановления цифровых изображений, искаженных белым гауссовским шумом. МГК позволяет выделить структуру в многомерном массиве данных и с успехом применяется для распознавания изображений и для шумоподавления.
Современные технические системы и человеческий глаз уверенно выделяют сигнал из шума, если уровень отношения сигнала (а если точнее, суммы сигнала и шума) к шуму (ОСШ, англ. signal-to-noise ratio, сокр. SNR) в системе составляет около 2,2 единиц. В частности, именно такое пороговое значение используется в фотометрии слабых объектов: при регистрации сигнала от тусклых звезд необходимо, чтобы отношение сигнал/шум превышало 2,2.
Подходы к оценке числа главных компонент по необходимои доле объясненнои дисперсии формально применимы всегда, однако неявно они предполагают, что нет разделения на «сигнал» и «шум», и любая заранее заданная точность имеет смысл. При разделении данных на полезныи сигнал и шум задаваемая точность теряет смысл и требуется переопределить понятие информативности. Рассмотрим подход к определению информативности при построения интегральнои характеристики изменения качества системы. Определяемая интегральная характеристика есть слабыи полезныи сигнал, которыи нужно распознать в зашумленных данных (в данном случае -в статистических данных). Решение получаем с помощью с помощью алгоритма на основе метода главных компонент, учитывающего отношение сигнала к шуму используемых данных -ОСШ-алгоритма [7][8][9]. Интегральная оценка системы из m объектов, каждыи из которых характеризуется n признаками для момента t имеет вид:
где
-вектор интегральных индикаторов момента t, A t -матрица предобработанных данных для момента t, веса показателеи [7][8][9] путем суммирования выбранного числа эмпирических главных компонент.
Выбор порогового значения ОСШ определяет выбор параметра информативности Ɵ, определяющего относительную доля разброса , приходящуюся на первые главные компоненты (1). Если информативность выражена в долях единицы, величину отношения сигнал/шум можно представить как отношение полезнои части используемои информации к неиспользуемои информации 1- и тогда справедливо:
Если рассматриваемое значение отношения сигнал/шум не менее заданного порогового
Соотношение (4) дает априорную оценку информативности выбраннои системы признаков через используемое пороговое отношение сигнал/шум. Эта оценка и будет априорнои оценкои SNR -информативности решения. В таблице 1 представлены некоторые значения, связывающие рассматриваемые показатели. Используемое в ОСШ-алгоритме пороговое значение SNR = 2,2 соответствует информативности около 70%. Увеличивая используемое пороговое значение ОСШ, можно надеяться, что информативность будет выше, при этом необходимое число используемых эмпирических главных компонент для вычисления интегральнои характеристики увеличивается.
Увеличение порогового значения сигнал/шум при определении эмпирических главных компонент возможность повышения информативности делает иллюзорнои . Значение SNR=2,2 является оптимистичнои величинои для статистических данных, и увеличение этого значения хотя бы до трех единиц не позволит получить достаточного числа эмпирических главных компонент, большая их часть окажутся просто нулевыми. В таблице 2 представлены варианты определения пятои и шестои эмпирических главных компонент при вычислении интегральнои характеристики изменения качества. Деи ствующие переменные, у которых вычисленное значение сигнал/шум (отношение среднего m к среднеквадратичному отклонению s) превосходит пороговое значение SNR=2,2, выделены темным цветом. Факторные нагрузки деи ствующих переменных учитываются при вычислении интегральнои характеристики, незначимые переменные обнуляются. Кажется очевидным, что пятая компонента информативнее шестои , так как там деи ствующими оказались 8 из 14 переменных, а в шестои компоненте -только одна деи ствующая переменная из 14. При увеличении порогового значения SNR до 3 единиц, в пятои эмпирическои главнои компоненте останется половина деи ствующих переменных, а в шестои их не останется вовсе, что очевидно информативность решения не увеличит, а уменьшит.
Предложим способ определения информативности интегральнои характеристики изменения качества, использующеи для построения метод главных компонент, для случая, когда присутствует разделение данных на «сигнал» и «шум». В этом случае заранее заданная точность не имеет смысла, и оценка числа главных компонент по необходимои доле объясненнои дисперсии неприменима. В каждои из эмпирических главных компонент, полученных согласованием направлении собственных векторов для разных наблюдении , определим деи ствующие переменные (для которых выполняется заданное отношение сигнал/шум) и вычислим сумму рассматриваемых величин ОСШ у деи ствующих переменных, и сумму ОСШ у всех переменных эмпирическои главнои компоненты.
Общая информативность выбраннои системы признаков представляет собои компромисс между этими значениями. и определяется двумя этими параметрами -дисперсионнои и SNRинформативностью:
) Число эмпирических главных компонент выбирается таким образом, чтобы общая информативность была максимальнои . Например, при вычислении интегральнои характеристики демографического развития России максимальная информативность составляет 60,52% и будет достигаться при использовании девяти ЭГК (рис.2). При этом SNR-информативность составит около 71%, что согласуется с оценкои (4).
Пример определения числа эмпирических главных компонент, определяющую Дисперсионная информативность 0,32 0,50 0,61 0,70 0,77 0,83 0,87 0,91 0,94 0,96 0,97 0,98 0,99 0,99 Приведем в таблице 5 теперь определение характеристик информативности для третьего блока переменных, характеризующих «Качество социальнои сферы». Количество переменных этого блока совпадает с количеством переменных второго блока, однако у него совсем другие численные характеристики -и сумма всех значении ОСШ (395 здесь и 544 для второго блока), и сумма ОСШ у деи ствующих переменных (294 и 415 соответственно). Хотя общая информативность выбираемого числа эмпирических компонент здесь сравнима с общеи информативностью второго блока -77,4% и 78,9% -сами блоки вносят разныи вклад в определяемое по трем блокам значение интегрального показателя. Вклад второго блока значительно выше, чем третьего, так как сигнал этого блока значительно «слышнее». 00 0,96 0,94 0,91 0,89 0,88 0,86 0,86 0,84 0,82 0,80 0,78 0,75 0,74 Эмпирические собственные числа (ЭСЧ) 4,38 2,09 1,60 1,13 0,97 0,86 0,69 0,60 0,49 0,39 0,32 0,26 0,16 0,07 Накопленные ЭСЧ 4,4 6,5 8,1 9,2 10,2 11,0 11,7 12,3 12,8 13,2 13,5 13,8 13,9 14,0 Дисперсионная информативность 0,31 0,46 0,58 0,66 0,73 0,79 0,84 0,88 0,91 0,94 0,97 0,98 1,00 Следовательно, при вычислении интегральнои характеристики системы общую характеристику системы следует определять с учетом весов блоков, определяемых пропорционально вычисленным значениям суммы отношении сигнал/шум у деи ствующих переменных, что аналогично определению веса блока пропорционально силе принятого сигнала. В таблице 6 представлены вычисленные значения весов блоков в зависимости от вычисленных характеристик значении суммы отношении сигнал/шум у деи ствующих переменных. Блок 3 «Качество социальнои сферы», в котором 14 переменных, оказался менее значим, чем блок 1 «Уровень благосостояния населения», в котором 9 переменных. А самым значимым оказался второи блок «Качество населения».
SNR-информативность решения задачи вычисления интегрального индикатора качества жизни определяется суммами отношении сигнал/шум у деи ствующих переменных и суммои всех вычисленных отношении сигнал/шум. В рассматриваемом примере она составит около 82%. Полученное значение согласуется с априорнои оценкои (4). Однако вовсе не следует, что и при исследовании систем, характеризующихся значительным числом переменных, всегда следует использовать все эмпирические главные компоненты, доставляющие максимум общеи информативности. Увеличение числа эмпирических главных компонент будет вносить вклад в вычисляемую интегральную характеристику, пока величина используемых эмпирических чисел превосходит неустранимую ошибку исходных данных.
a. Yaroslav the Wise, Veliky Novgorod, Russia