In current report, method for fire detection under the ordinary and decreased illumination based on visual data in outdoor spaces is proposed. This method uses the features of fire and smoke, such as the moving parameters, chromatic components, and textural features. The algorithm Retinex is yielded for the illumination equalization. The recognition and verification stages as the main factor of the wildfire beginning are discussed.
Фаворская М.Н.(1), Пятаева А.В.(2), Пятаев А.С.(3) Предложен метод обнаружения возгораний как в нормальных условиях освещенности, так и в условиях пониженной освещенности по визуальным данным на открытых пространствах. Метод основан на учете таких параметров огня и дыма, как параметры движения, хроматические компоненты и текстурные особенности. Для выравнивания освещенности используется алгоритм Retinex. Обсуждаются этапы распознавания и верификации дыма как основного фактора начинающегося пожара.
Ключевые слова: обнаружение дыма, обнаружение пламени, алгоритм Retinex, выравнивание освещенности.
Введение. Пожары имеют несколько стадий, а именно, начальная фаза (появление дыма), фаза роста (появление пламени), фаза полного роста (устойчивое распространяющееся пламя, сопровождающееся большими клубами дыма серо-черного цвета), фаза затухания (уменьшение объемов пламени и дыма) и конечная фаза (завершение пожара). При этом возможность детектирования пожара на ранних стадиях с целью предотвращения людских, материальных и экологических потерь является важной практической задачей. Речь идет о пожарах на открытых пространствах, когда датчики анализа продуктов горения бесполезны в силу наличия метеорологических факторов. Ранние фазы пожара, как правило, связаны с появлением дыма, поэтому традиционный подход направлен на обнаружение дыма с малыми значениями ошибок I и II рода. За участками, похожими на дым, проводится наблюдение в течение малого временного интервала. Появление пламени является неоспоримым признаком фазы роста пожара и необходимости принятия управленческих и организационных решений. Системы визуального обнаружения пожаров включают четыре стадии: извлечение регионов-кандидатов, похожих на дым/пламя, извлечение пространственно-временных признаков, распознавание (дым/не дым, пламя/не пламя) и верификация, минимизирующая ложные тревоги.
Обнаружение дыма. Дым, как и пламя, являются динамическими текстурами, причем, дым имеет большую степень распространения в окружающей среде. Динамические текстуры имеют пространственные и временные признаки. Целесообразно проводить анализ кадров на наличие дыма, вначале используя временные признаки – признаки движения. Дым по своей природе является полупрозрачной структурой, динамически изменяющей свою форму. В начале пожара дым имеет оттенки от белого до темно-серого цветов, поэтому обычно ищут динамические текстуры серого цвета. Дополнительными признаками служат фрактальность и хаотичное мерцание краев, обусловленное физической природой начальной фазы пожара.
Метод соответствия блоков является простым, быстрым и относительно надежным
способом нахождения движения в сцене. Он основан на сопоставлении центрального блока
(изображение разделено на непересекающиеся блоки) с восемью соседними блоками. При этом
минимизируется функционал ошибки e() в соответствии с выбранной метрикой: сумма
абсолютных разностей (Sum of Absolute Differences, SAD), сумма квадратов разностей (Sum of Squared
Differences, SSD) или среднее квадратов разностей (Mean of Squared Differences, MSD)
соответственно. Эксперименты показали, что можно выбирать различные значения размеров
блоков для ближних и дальних сцен (рис. 1).
а б в г
Рис. 1. Кадры видеопоследовательности Bilkent//ISYAM, кадр 116 [
Для нахождения «серого» движения можно воспользоваться нормализованным RGBпространством: (1) (2) r
R R G B , g
G R G B , b
B R G B , где r + g + b = 1.
Нормализованное RGB-пространство не ухудшает конфигурацию rgb-компонентов и в то же время позволяет отличить серое движение от движения других объектов. Примерно такой же результат сегментации можно получить, перейдя из RGB-пространства в YUV-пространство и анализируя компоненту Y.
Для расчета турбулентности воспользуемся эмпирической формулой (2) [
Pr(t) (t) 2 A(t) , где B(t) – периметр области дыма, A(t) – ее площадь.
Таким образом, чем больше значение отношения периметра к площади, тем выше турбулентность (фрактальность) исследуемой области. Иногда происходит хаотичная замена яркостей пикселов на краях задымленной области. Мерцание считается не постоянным процессом, однако его можно анализировать как дополнительный признак.
В работе [11] были исследованы различные параметры алгоритма выделения локальных регионов-кандидатов, а именно, размер блока для расчета межкадровой разницы Blk = {8, 15, 30} пикселов, значение цветового порога T = {10, 15, 20, 25} задается для выделения среди движущихся блоков кандидатов цвета дыма, параметр Rate = {1, 2, 3} показывает номер кадра, который следует учитывать для расчета движения относительно текущего кадра. На рис. 2-4 приведены примеры обнаружения ближнего дыма, дальнего дыма и видеопоследовательности без дыма соответственно.
а б в г
Рис. 2. Этапы выделения ближнего дыма по видеопоследовательности Video smoke detection
/cottonrope [
а б в г
Рис. 4. Этапы выделения дыма по видеопоследовательности без дыма Dyntex/648ab10 [
а б в Рис. 5. Обнаружение пламени: а – исходное изображение из набора Ultimate Chase. Fire Stick
Video [
Обнаружение пламени. Пламя также характеризуется пространственно-временными
признаками, однако признаки движения играют менее существенную роль по сравнению с
признаками движения дыма. Для обнаружения пламени целесообразно анализировать
задымленные участки с основным пространственным признаком – цветом. В ряде работ
анализируются оттенки красного цвета в зависимости от объектов горения [
I 1 R G B, 3 3 R G B
min R,G, B , 0 если B G H 360 если B G
, cos1 0,5R G R B , R G2 R BG B (6) где H – оттенок, S – насыщенность, I – интенсивность, R, G, B – красный, зеленый, синий в модели RGB.
Пламя обладает турбулентными свойствами и свойством мерцания на частоте 10 Гц. Для
оценки движения огня метод сопоставления блоков может оказаться недостаточным из-за
меньшей степени распространения по сравнению с распространением дыма. В этих случаях
целесообразно использовать метод оптического потока [
Выравнивание освещенности. Пожары возникают в любое время суток, однако видеонаблюдение, основанные на IP-камерах, способно передавать изображение в светлое время суток и в вечернее время (пониженная освещенность). В последнем случае требуется специальная обработка видеопоследовательности, выравнивающая освещение. Классическим подходом является использование алгоритма Retinex, имитирующего визуальную систему человека, который сжимает динамический диапазон изображения с сохранением (увеличением) локального контраста в плохо и ярко освещенных регионах.
Классический многомерный MSR-алгоритм (Multi-Scale Retinex) является взвешенной суммой одномерных SSR-алгоритмов (Single-Scale Retinex) для различных масштабов. Одномерная выходная функция i-го цветового канала Ri(x, y, ) вычисляется следующим образом:
Ri x, y, logIi x, y logF x, y, * Ii x, y, (7) где Ii(x,y) – входная функция i-го цветового канала по координатам x и y; – масштабный коэффициент; знак «» обозначает свертку функций; F(x,y,) – гауссиан, определяемый как Fx, y, K ex2y2 2 ,
F x, y, dx dy 1, При этом коэффициент K выбирается таким образом, чтобы выполнялось условие x,y где x,y – множество пикселов, принадлежащих всему изображению.
Тогда многомерная выходная функция i-го цветового канала RMi(x,y,w,) определяется как взвешенная сумма выходных функций по трем каналам.
N RMi x,y, w, σ wnRi x,y, n , (10) n1 где w=(w1,w2,…,wm), m=1,2,…,M – весовой вектор одномерных выходных функций i-го цветового канала Ri(x,y,); =(1,2,…,n), n=1, 2, …, N – вектор масштабов одномерных выходных
N функций. При этом wn 1. Размерность вектора масштабов обычно выбирается не n1 меньше 3. В экспериментах значения масштабов выбирались равными 15, 90, 180. Отметим, весовой вектор w, как правило, имеет элементы с равными значениями.
Однако классический алгоритм MSR приводит к искажению цвета изображения, т. к. значение каждой цветовой составляющей пиксела заменяются отношением ее исходного значения к среднему значению данной цветовой составляющей окружающих пикселов. Дополнительная обработка выполняется в соответствии с выражением:
RMi x,y, w, σ, b RMi x,y, w, σ* Iix, y,b , (11) где Ii(x,y,b) – нормализованная яркость, определяемая по формуле: (8) (9) Iix,y,b log 1 с 3Ii x,y , (12)
Ii x,y i1 где c – коэффициент, выбираемый из середины диапазона значений [0…255], c=100125.
Отметим, что возможен принципиально иной подход к обнаружению дыма и пламени в
ночных условиях, а именно объединение данных от инфракрасной и оптической камер [
Заключение. Разработан метод раннего обнаружения пожаров на открытых пространствах по видеопоследовательностям. Совместный учет признаков дыма и пламени повышает достоверность распознавания. Дополнительно вводится стадия верификации, позволяющая принять окончательное решение о наличии/отсутствии пожара.
Работа выполнена при финансовой поддержке РФФИ (грант № 16-07-00121-а).