В статье предлагается подход к определению информативности характеристики изменения качества системы по зашумлённым данным при использовании ОСШалгоритма. Алгоритм на основе метода главных компонент определяет эмпирические главные компоненты согласованием направлений собственных векторов для различных наблюдений и выбор действующих переменных этих компонент на основе принятого отношения сигнал/шум. При разделении данных на полезный сигнал и шум критерий информативности, основывающийся на необходимой доле объяснённой дисперсии, теряет смысл. Поэтому определение информативности без учета характеристики шума в рассматриваемых данных бессмысленно и требуется его переопределить с учетом свойств шума. В статье построены априорные и апостериорные оценки информативности решения задачи построения интегральной характеристики изменения качества на основании задаваемого отношения сигнал/шум. Полученные подходы в построении оценок информативности проиллюстрированы на примере вычисления интегрального индикатора качества жизни.
Однои из центральных проблем при решении задач обработки информации является проблема выбора информативного подмножества признаков и оценки его пригодности. Все чаще встречаются реальные задачи (например, в генетике), в которых небольшое число (десятки) объектов выборки описывается очень большим числом характеристик (десятками тысяч). При решении этои проблемы возникают вопросы: как организовать выбор наиболее характерных признаков, по каким критериям оценивать информативность выбраннои подсистемы признаков. Большои интерес к этим проблемам в различных областях науки и техники обусловлен многообразием прикладных задач, в которых используются результаты. Необходимость в обработке и анализе данных возникает при распознавании объектов, в обработке изображении, при изучении природных ресурсов Земли из космоса, в управлении движущимися объектами, при количественнои оценке параметров объектов и т. п.
Большинство систем анализа данных основывается на методах построения пространства признаков меньшеи размерности. Задача снижения размерности важна еще и потому, что сложность большинства алгоритмов экспоненциально возрастает с увеличением размерности изображении, а практическая реализация таких алгоритмов требует мощных вычислительных средств. Одним из широко распространенных методов сокращения размерности изображении является метод главных компонент (МГК). В настоящее время для решения задачи поиска и распознавания предлагаются множество алгоритмов, использующих МГК. Информативность в методе главных компонент
Метод главных компонент – один из способов понижения размерности, состоящии в
переходе к новому ортогональному базису, оси которого ориентированы по направлениям
максимальнои дисперсии набора входных данных. Вдоль первои оси нового базиса дисперсия
максимальна, вторая ось максимизирует дисперсию при условии ортогональности первои оси, и т.д.,
последняя ось имеет минимальную дисперсию из всех возможных. Однако направления,
максимизирующие дисперсию, далеко не всегда максимизируют информативность. Может
случиться, что именно младшие главные компоненты несут необходимую смысловую нагрузку.
Например, при создании цифровои модели рельефа, именно восьмая и девятая главные
компоненты дают искомыи рельеф, а главные компоненты 12 и 13 в методе «Гусеница»
свидетельствует о наличии в анализируемых данных периодики с дробным периодом [
Информативность в методе главных компонент основывается на дисперсионном критерии
системы признаков, с помощью которого происходит отбор числа главных компонент [
1 2 ... n
В работах Аивазяна [
Современные технические системы и человеческий глаз уверенно выделяют сигнал из шума, если уровень отношения сигнала (а если точнее, суммы сигнала и шума) к шуму (ОСШ, англ. signal-to-noise ratio, сокр. SNR) в системе составляет около 2,2 единиц. В частности, именно такое пороговое значение используется в фотометрии слабых объектов: при регистрации сигнала от тусклых звезд необходимо, чтобы отношение сигнал/шум превышало 2,2.
Подходы к оценке числа главных компонент по необходимои доле объяснённои дисперсии
формально применимы всегда, однако неявно они предполагают, что нет разделения на «сигнал» и
«шум», и любая заранее заданная точность имеет смысл. При разделении данных на полезныи
сигнал и шум задаваемая точность теряет смысл и требуется переопределить понятие
информативности. Рассмотрим подход к определению информативности при построения
интегральнои характеристики изменения качества системы. Определяемая интегральная
характеристика есть слабыи полезныи сигнал, которыи нужно распознать в зашумленных данных
(в данном случае – в статистических данных). Решение получаем с помощью с помощью алгоритма
на основе метода главных компонент, учитывающего отношение сигнала к шуму используемых
данных – ОСШ-алгоритма [
qt At W * , (2)
где qt qt1, q t 2 , ... , qt m T
– вектор интегральных индикаторов момента t, At –
матрица
предобработанных данных для момента t, веса показателеи W * w*1, w* 2 , ..., w* n определены с
помощью ОСШ-алгоритма [
Выбор порогового значения ОСШ определяет выбор параметра информативности Ɵ, определяющего относительную доля разброса , приходящуюся на первые главные компоненты (1). Если информативность выражена в долях единицы, величину отношения сигнал/шум можно представить как отношение полезнои части используемои информации к неиспользуемои информации 1- и тогда справедливо: значения информативности ϴ SNR , то и , и тогда справедлива оценка Если рассматриваемое значение отношения сигнал/шум не менее заданного порогового информативности
SNR
1
.
1 .
1 Соотношение (4) даёт априорную оценку информативности выбраннои системы признаков через используемое пороговое отношение сигнал/шум. Эта оценка и будет априорнои оценкои SNR - информативности решения. В таблице 1 представлены некоторые значения, связывающие рассматриваемые показатели.
Таблица 1– Связь SNR – информативности с используемым пороговым значением ОСШ SNR 1.2 1.5 2.0 2.2 3.0 4.0 5.7 9.0 19.0 Информативность, 0.550 0.600 0.667 0.688 0.750 0.800 0.851 0.900 0.950 Используемое в ОСШ-алгоритме пороговое значение SNR = 2,2 соответствует информативности около 70%. Увеличивая используемое пороговое значение ОСШ, можно надеяться, что информативность будет выше, при этом необходимое число используемых эмпирических главных компонент для вычисления интегральнои характеристики увеличивается.
Увеличение порогового значения сигнал/шум при определении эмпирических главных компонент возможность повышения информативности делает иллюзорнои. Значение SNR=2,2 является оптимистичнои величинои для статистических данных, и увеличение этого значения хотя бы до трех единиц не позволит получить достаточного числа эмпирических главных компонент, большая их часть окажутся просто нулевыми. В таблице 2 представлены варианты определения пятои и шестои эмпирических главных компонент при вычислении интегральнои характеристики изменения качества. Деиствующие переменные, у которых вычисленное значение сигнал/шум (отношение среднего m к среднеквадратичному отклонению s) превосходит пороговое значение SNR=2,2, выделены темным цветом. Факторные нагрузки деиствующих переменных учитываются при вычислении интегральнои характеристики, незначимые переменные обнуляются. Кажется очевидным, что пятая компонента информативнее шестои, так как там деиствующими оказались 8 из 14 переменных, а в шестои компоненте – только одна деиствующая переменная из 14. При увеличении порогового значения SNR до 3 единиц, в пятои эмпирическои главнои компоненте останется половина деиствующих переменных, а в шестои их не останется вовсе, что очевидно информативность решения не увеличит, а уменьшит.
Предложим способ определения информативности интегральнои характеристики изменения качества, использующеи для построения метод главных компонент, для случая, когда присутствует разделение данных на «сигнал» и «шум». В этом случае заранее заданная точность не имеет смысла, и оценка числа главных компонент по необходимои доле объяснённои дисперсии неприменима. В каждои из эмпирических главных компонент, полученных согласованием направлении собственных векторов для разных наблюдении, определим деиствующие переменные (для которых выполняется заданное отношение сигнал/шум) и вычислим сумму рассматриваемых величин ОСШ у деиствующих переменных, и сумму ОСШ у всех переменных эмпирическои главнои компоненты.
Таблица 2 – Определение эмпирических главных компонент Аналогично дисперсионнои информативности согласно (1), можно определить SNRинформативность для выбранного числа эмпирических главных компонент N: SNR S11 S12 ... S1N , (5)
S 21 S 22 ... S 2N где S1k – сумма величин ОСШ у деиствующих переменных k-ои ЭГК, S2k – сумма ОСШ всех переменных k-ои ЭГК. В отличие от дисперсионнои информативности, SNR-информативность не может достигать 100% по логике построения.
Таблица 3 – SNR-информативность Блока 1: «Благосостояние населения»
при вычислении интегрального индикатора качества жизни № ЭГК 1 2 3 4 5 Деиствующие ОСШ ЭГК 101.42 54.99 15.41 4.25 3.42 Накопленные деиствующие ОСШ ЭГК 101.42 156.41 171.82 176.07 179.49 Все ОСШ ЭГК 102.23 57.56 19.73 11.33 7.92 Накопленные ОСШ ЭГК 102.23 159.79 179.52 190.85 198.76
SNRинформативность
0.99
0.98
0.96
0.92
0.90
ь
т
с
о
н
в
и
т
а
м
р
о
ф
н
И
105,0
85,0
65,0
45,0
25,0
SNRинформативность
Проиллюстрируем дальнеишие рассуждения на примере вычисления интегральнои
характеристики качества жизни. Для этого воспользуемся переменными из исследования [
В таблице 3 приводится пример определения SNR-информативности первого блока «Благосостояние населения» при вычислении интегрального индикатора качества жизни. При использовании всех девяти эмпирических главных компонент (ЭГК) SNR-информативность вычисляемои интегральнои характеристики «Благосостояния населения» составит около 88%.
SNR–информативность убывает при увеличении числа выбираемых эмпирических главных компонент, а дисперсионная информативность – возрастает. На рис.1 приводится определение дисперсионнои и SNR-информативности при вычислении интегральнои характеристики демографического развития России на основании 85 переменных. Рассматриваются все показатели, фиксируемые Росстатом на всем интервале наблюдения. максимальную информативность второго блока, приведен также в таблице 4. Из 14 ЭГК выбирается 11, и общая информативность интегральнои характеристики второго блока «Качество населения» составит около 79%. Суммарная информативность первого блока «Благосостояние населения» максимальна при рассмотрении всех 9 ЭГК и составит около 88%. Поэтому для вычисления интегрального показателя первого блока используем все эмпирические главные компоненты. Чем больше переменных описывают систему, тем меньшее их относительное количество участвует в построении композитного индекса. Для второго блока выбираем 11 из 14 ЭГК, для третьего – 10 из 14 ЭГК. В системе, которую описывают 51 переменных, было выбрано 21 ЭГК, в приведенном выше примере из 85 возможных было выбрано 9 ЭГК. В таблице 4 можно сравнить оценки информативности по дисперсионному и SNR-критерию. Оценка информативности по SNRкритерию при выборе одиннадцати ЭГК выглядит менее оптимистичнои, чем по дисперсионному критерию.
Таблица 4 – Информативность Блока 2 «Качество населения»
при вычислении интегрального индикатора качества жизни 1 2 3 Номер эмпирическои главнои компоненты 4 5 6 7 8 9 10 11 Приведем в таблице 5 теперь определение характеристик информативности для третьего блока переменных, характеризующих «Качество социальнои сферы». Количество переменных этого блока совпадает с количеством переменных второго блока, однако у него совсем другие численные характеристики – и сумма всех значении ОСШ (395 здесь и 544 для второго блока), и сумма ОСШ у деиствующих переменных (294 и 415 соответственно). Хотя общая информативность выбираемого числа эмпирических компонент здесь сравнима с общеи информативностью второго блока – 77,4% и 78,9% – сами блоки вносят разныи вклад в определяемое по трем блокам значение интегрального показателя. Вклад второго блока значительно выше, чем третьего, так как сигнал этого блока значительно «слышнее».
Таблица 5 – Информативность 3 блока «Качество социальной сферы»
при вычислении интегрального индикатора качества жизни Номер эмпирической главной компоненты 1 2 3 4 5 6 7 8 Сумма ОСШ k-ои ЭГК 159 44,7 51,1 12,8 7,8 7,4 16,5 Сумма деиствующих
ОСШ k - ои ЭГК 158 38,0 42,6 3,7 2,5 3,0 8,5 - 3,3 3,5 2,5 5,2 6,7 16,2 Накопленные ОСШ
k - ои ЭГК 159 204 255 268 275 283 299 299 309 321 333 349 372 395 Накопленные деиств,
ОСШ k-ои ЭГК 158 196 239 242 245 248 257 257 260 263 266 271 278 294 SNR - информативност1ь,00 0,96 0,94 0,91 0,89 0,88 0,86 0,86 0,84 0,82 0,80 0,78 0,75 0,74 Эмпирические собственные числа (ЭСЧ) 4,38 2,09 1,60 1,13 0,97 0,86 0,69 0,60 0,49 0,39 0,32 0,26 0,16 0,07 Накопленные ЭСЧ 4,4 6,5 8,1 9,2 10,2 11,0 11,7 12,3 12,8 13,2 13,5 13,8 13,9 14,0 Дисперсионная информативность 0,31 0,46 0,58 0,66 0,73 0,79 0,84 0,88 0,91 0,94 0,97 0,98 1,00 1,00 Информативность, %31,1 44,5 54,0 59,6 64,6 69,1 71,8 75,4 76,8 77,4 77,15 76,4 74,3 74,4 9 10 11 10,2 11,1 12,1 12 13 14 16,2 23,0 23,0 Следовательно, при вычислении интегральнои характеристики системы общую характеристику системы следует определять с учетом весов блоков, определяемых пропорционально вычисленным значениям суммы отношении сигнал/шум у деиствующих переменных, что аналогично определению веса блока пропорционально силе принятого сигнала. В таблице 6 представлены вычисленные значения весов блоков в зависимости от вычисленных характеристик значении суммы отношении сигнал/шум у деиствующих переменных. Блок 3 «Качество социальнои сферы», в котором 14 переменных, оказался менее значим, чем блок 1 «Уровень благосостояния населения», в котором 9 переменных. А самым значимым оказался второи блок «Качество населения».
SNR-информативность решения задачи вычисления интегрального индикатора качества жизни определяется суммами отношении сигнал/шум у деиствующих переменных и суммои всех вычисленных отношении сигнал/шум. В рассматриваемом примере она составит около 82%. Полученное значение согласуется с априорнои оценкои (4). Однако вовсе не следует, что и при исследовании систем, характеризующихся значительным числом переменных, всегда следует использовать все эмпирические главные компоненты, доставляющие максимум общеи информативности. Увеличение числа эмпирических главных компонент будет вносить вклад в вычисляемую интегральную характеристику, пока величина используемых эмпирических чисел превосходит неустранимую ошибку исходных данных.
Таблица 6 – Определение вклада разных блоков в вычисляемое значение
интегрального показателя на основе SNR- информативности Блок Сумма ОСШ Вес блока Сумма деиствующих ОСШ
1 307,4 347,4 0,32
2 397,7 491,14 0,41
3 254,3 330 0,27 По всем блокам 959,4 1168,3 Приводимые в статистических справочниках величины имеют зачастую всего три (или даже менее) верные значащие цифры в представлении величин (процентов и пр.). Вычисляемыи результат не может иметь точность большую, чем исходные данные, в частности, количество верно значащих цифр результата также составляет три верно значащие цифры (или менее). В вычисляемои интегральнои характеристике это соответствует одному знаку до запятои и двум знакам после. Т.е. абсолютная погрешность вычисляемои интегральнои характеристики y* 102 . Следовательно, эмпирическая главная компонента не изменит величину вычисляемои характеристики, если соответствующее эмпирическое собственное число, участвующее в определении нагрузок эмпирических главных компонент, имеет значение меньшее, чем минимально возможная абсолютная ошибка вычисляемои интегральнои характеристики: i 0.5 10 2 . Т.е., стоит отбрасывать все те ЭГК, для которых значение эмпирического собственного числа имеют порядок i 10 5 и менее. В рассматриваемом примере при вычислении интегральнои характеристики жизни населения рассматривались блоки с девятью и четырнадцатью переменными, и при этом для всех трех блоков минимальное из эмпирических собственных чисел min 10 2 . Т.е. в этом случае даже минимальное эмпирическое собственное число дает ощутимыи вклад в вычисляемую характеристику. При рассмотрении демографического состояния России рассматривались 85 переменных в одном блоке. Здесь, начиная в 75-го эмпирического собственного числа, значения ЭСЧ чрезвычаино малы: 75 105 и менее. Т.е. использование эмпирических главных компонент, начиная с 75-ои, смысла не имеет. Но в этом случае было достаточно использовать всего девять ЭГК. Заключение
Традиционные подходы к оценке числа главных компонент по необходимои доле объяснённои дисперсии предполагают, что нет разделения данных на «сигнал» и «шум», и тогда любая заранее заданная точность имеет смысл. При разделении данных на полезныи сигнал и шум задаваемая точность бессмысленна и требуется переопределить понятие информативности. В работе предложено определение информативности метода главных компонент для построения интегральнои характеристики изменения качества системы с учетом наличия шума в измеряемых данных. Построены априорные и апостериорные оценки информативности, предложен алгоритм определения весов подсистем при вычислении интегральнои характеристики с использованием Работа выполнена при финансовой поддержке проектной части государственного задания в сфере научной активности Министерства образования и науки Российской Федерации, проект № 1.949.2014/К.
References