Проблема удаления дождя с видео достаточно активно изучается, в то время как удаление дождя с единичного изображения редко рассматривается в литературе. Отсутствие накопленной из последовательности кадров информации усложняет задачу. Li-Wei Kang, Chia-Wen Lin и Yu-Hsiang Fu в своей работе [4] предложили метод удаления дождя с единичного изображения с помощью представления удаления дождя в качестве задачи декомпозиции изображения, основанной на морфологическом анализе. Вместо прямого применения традиционного метода декомпозиции изображения, предлагаемый метод сначала разбивает изображение на низко- и высокочастотные части, используя билатеральный фильтр. Высокочастотная часть далее разбивается на дождевую и недождевую составляющие применением разреженного кодирования с обучением словаря. В результате дождевая составляющая может быть успешно удалена с изображения с сохранением большинства деталей исходного изображения. Экспериментальные результаты продемонстрировали эффективность предложенного алгоритма. На рисунке 8 представлены блочная диаграмма метода и пример использования словарей. На рисунке 9 показаны поэтапные результаты работы алгоритма.
Рисунок 8 – (a) Блочная диаграмма предложенного метода удаления дождевых полос. (b) Демонстрация предложенного метода, основанного на двух обученных словарях.
Рисунок 9 – Пошаговые результаты процесса удаления дождевых полос: (a) низкочастотная составляющая изображения, полученная применением билатерального фильтра (VIF=0.33); (b) высокочастотная составляющая; (c) дождевая компонента; (d) геометрическая компонента. Комбинацией (d) и низкочастотной составляющей получается: (e) изображение без дождя (VIF = 0.50, µ = 0.6970); (f) изображение без дождя с расширенным словарем DE (VIF = 0.52).
Но методы обработки единичных изображений не удовлетворяют требованиям обработки записей с видеокамеры в реальном времени. Такие методы нетрудно распространить на последовательность изображений, но требуемая вычислительная мощность при этом резко возрастает.
Существующие в этой области работы обычно сфокусированы на улучшении качества видео или изображений с высоким разрешением, разработано мало алгоритмов для улучшения видео с камер наблюдения, которые обычно имеют низкое разрешение, высокий уровень зашумленности и артефакты сжатия. Более того, в условиях снега или дождя качество изображения переднего плана резко ухудшается из-за перекрытия появляющимися снежинками и каплями дождя, а качество дальнего плана ухудшается из-за перекрытия туманообразным эффектом снега или дождя, как показано на рисунке 10. Разработано очень мало алгоритмов улучшения качества видео, способных справиться одновременно с двумя проблемами.
Рисунок 10 - Две различные проблемы, требующие решения при видеонаблюдении в плохих погодных условиях
В работе [5] предлагается следующий метод улучшения качества для видеонаблюдения в условиях сильного снега или дождя. Алгоритм состоит из двух основных этапов: 1. Алгоритм улучшения переднего плана идентифицирует перекрытые снегом или дождем пиксели переднего плана и удаляет их как снежинки или капли дождя; в отличие от обычных методов, алгоритм на этом этапе может детектировать снежинки на объектах дальнего плана и фоне, и выбирать разные методы заполнения удаленных участков. 2. Алгоритм улучшения дальнего плана восстанавливает информацию о контрастности изображения не только для обнаружения большего количества деталей дальнего плана, но и для улучшения общего качества изображения. На этом этапе алгоритм адаптивно улучшает глобальную и локальную контрастности, основываясь на зрительной системе человека и чувствительности к восприятию шума, артефактов сжатия и текстурам содержимого изображения. На рисунке 11 представлена диаграмма метода.
Рисунок 11 – Диаграмма предлагаемого метода удаления снежинок/дождевых капель. Разными цветами обозначены разные основные компоненты алгоритма. Серый цвет: вход-выход; желтый: обучение; синий: детектирование снежинок/капель дождя; зеленый: временное детектирование объектов фона; красный: удаление снежинок/капель дождя и заполнение этих участков.
Заключение
В данной работе рассмотрены методы подавления эффектов погодных условий на видео и изображениях. Методы, использующие физические модели, очень эффективны, но имеют большую вычислительную сложность, то есть могут быть использованы только в качестве постобработки изображений и видео. Методы, работающие с единичным изображением, можно распространить на последовательность изображений, но тогда вычислительная сложность тоже резко возрастает. Более простые методы выравнивания гистограмм подойдут только для статичных погодных условий. Так же большинство предлагаемых методов работает с изображениями хорошего качества и с большим разрешением, что и позволяет им детектировать снег и дождь. Такие требования не выполняются для кадров систем видеонаблюдения обычно не очень высокого качества, с шумом и артефактами сжатия.
Для последующей реализации и внедрения в систему технического зрения с удалением погодных эффектов с кадров в режиме реального времени выбран двухшаговый алгоритм, так как он не только удаляет с изображения крупные снежинки и капли дождя, но и улучшает общую картину, адаптивно настраивая глобальную и локальную контрастности. При этом алгоритм подходит для работы с изображениями с камер видеонаблюдения и камер систем технического зрения робота, не требуя больших вычислительных мощностей.
Список литературы
1 Kshitiz Garg, Shree K. Nayar. Detection and Removal of Rain from Videos. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (1), July 2004, pp. 528–535.
2 Peter Barnum, Takeo Kanade, Srinivasa G Narasimhan. Spatio-Temporal Frequency Analysis for Removing Rain and Snow from Videos. International Journal of Computer Vision (86), Issue 2, January 2010, pp 256-274.
3 Nicolas Hautière, Jean-Philippe Tarel. Rain or Snow Detection in Image Sequences Through Use of a Histogram of Orientation of Streaks. International Journal of Computer Vision 93(3), July 2011, pp 348-367.
4 Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition, IEEE Transactions on Image Processing (21), No. 4, April 2012, pp. 1742-1755.
5 Zhen Jia, Hongcheng Wang, Rodrigo Caballero, Ziyou Xiong, Jianwei Zhao, Alan Finn. A Two-Step Approach to See-Through Bad Weather for Surveillance Video Quality Enhancement. Proceedings of the IEEE International Conference on Robotics and Automation (23), Issue 6, November 2012, pp 1059-1082.