Классификация погодных условий
Погодные условия различны по физическим свойствам и визуальным эффектам, которые они привносят на изображение. Основываясь на этих отличиях, погодные условия можно условно разделить на статичные (дымка, туман, мгла) и динамичные (дождь, снег, град). В случае статичных условий отдельные частицы слишком малы (1-10 мкм), чтобы быть видимыми для камеры. Следовательно, объемные модели рассеивания, такие как модель затухания и модель поглощения света в воздухе частицами, могут использоваться для адекватного описания эффектов статичной погоды.
С другой стороны, частицы, составляющие динамическую погоду, такую как дождь, снег и град, значительно больше (0.1-10 мм), и отдельные частицы видны на изображении.
Классификация методов подавления погодных эффектов
В действительности существует не так много методов, предложенных для улучшения качества видеонаблюдения в условиях плохой погоды. На рисунке 1 представлены основные категории таких методов. К прочим отнесены комплексные подходы решения проблемы и математические методы, не подходящие ни к одной из основных категорий.
Рисунок 1 – Классификация методов подавления погодных эффектов
Методы удаления погодных эффектов, основанные на физических моделях
Narasimhan и Nayar’s в своей работе [1] представили основанную на физических свойствах модель, описывающую проявления плохих погодных условий на видео. Более подробно рассмотрена модель дождя.
Визуальные эффекты, добавляемые дождем, очень сложные. Дождь состоит из множества отдельных капель, падающих с большой скоростью. Каждая капля ведет себя как прозрачная сфера, отражающая и преломляющая свет от окружающих её предметов. Группа таких падающих капель составляет сложный, изменяющийся во времени сигнал на изображениях и видео. Итак, влияние дождя – это комбинация динамических характеристик самого дождя и фотометрии окружающей среды. Kshitiz Garg и Shree K. Nayar разработали корреляционную модель, которая охватывает динамику дождя, и физическую модель размытия, объясняющую фотометрию дождя. Основываясь на этих моделях, ими были разработаны эффективные алгоритмы детектирования и удаления дождя с видео. Эффективность алгоритмов подтверждается экспериментами на видео со сложными сценами с двигающимися объектами и изменяющимися во времени текстурами.
Описание алгоритма детектирования дождя на видео, приведено на рисунке 2.
Рисунок 2 – Алгоритм детектирования дождя. (а) Использование фотометрической модели для определения пикселей, подверженных влиянию дождя, показаны белым цветом. Следует обратить внимание на несколько ложных детектирований пикселей дождя. (b) Применение линейного фотометрического ограничения для выделения полос интенсивностей. Это значительно уменьшает количество ложных детектирований и позволяет получить бинарную картину дождя. (c) Вычисление пространственно-временной корреляции в бинарном поле. (d) Построение корреляционной карты, вычисленной с помощью 11*11 соседей более чем в 30 кадрах. Пиксели с большим значением интенсивности являются пикселями дождя, в то время как недождевые пиксели имеют малые значения интенсивности. (e) Игольчатая карта демонстрирует сегментацию сцены на регионы с дождем и без него.
Результаты детектирования дождя на видео приведены на рисунке 3.
Рисунок 3 – Детектирование и удаление дождя из отрывка фильма Магнолия. (a) Три кадра исходного видео. Сцена содержит человека, двигающегося и говорящего по телефону, и дождь, видимый через оконное стекло. Камера сфокусирована на человеке. Быстрое движение текстур (сгибы и складки рубашки на двигающейся руке) делает задачу достаточно сложной для проверки алгоритма. (b) Найденные участки с дождем отображаются игольчатой картой. Направление иголки означает направление дождя, а длина иголки - силу дождя. (c) Полученные кадры без дождя. (d) Разность между исходными и обработанными кадрами. Для наглядности увеличена контрастность.
Несмотря на то, что каждая капля или снежинка влияет только на небольшое количество пикселей, их совокупность имеет предсказуемые пространственно-временные характеристики. Peter Barnum, Takeo Kanade и Srinivasa G Narasimhan в своей работе [2] сформулировали модель этих глобальных динамических погодных частот. Сначала была получена физическая модель капель и снежинок, которая используется для определения обобщенной формы и яркости единичной полосы. Эта модель полосы комбинируется со статистическими характеристиками дождя и снега для определения влияния таких пространственно-временных показателей на последовательность изображений. В малом масштабе многое оказывается засчитанным за дождь и снег, но при переходе к глобальному рассмотрению, результаты получаются гораздо лучше, чем при просто локальном анализе.
На рисунке 4 представлен пример удаления снега.
Рисунок 4 – Пример удаления снега. Изображения исходные (a) и после внутрикадрового удаления (b). Снег обнаружен, но есть ошибки в определении. С временной информацией достигается улучшенная оценка присутствия снега (c). Результат трех итераций удаления представлен на (d).
На рисунке 5 представлен еще один пример удаления снега, это очень трудная последовательность кадров с большим количеством высокочастотных текстур, очень сильным снегопадом и множеством движущихся объектов. Большинство снега удалено, но края зонта и ноги классифицированы ошибочно. На протяжении движения пешеходов в нижней части видео, могут быть правильно отобраны снежинки только из верхней части.
Рисунок 5 – Удаление снега на видео с пешеходами
Такой тип физических алгоритмов требует большой вычислительной мощности и не подходит для применения в режиме реального времени в системах технического зрения. Эти методы не подходят для видеосъемки в условиях очень густого тумана или сильного дождя, с низким качеством изображения с шумом и артефактами сжатия. В таких условиях очень трудно построить верную модель.