Диссертационная работа состоит из введения, трех глав и заключения. Работа содержит 126 страниц машинописного текста, 62 рисунка. Список литературы включает 98 наименования.
Содержание работы
Во введении обоснована актуальность работы, цель работы, методы исследования, научная новизна, практическая ценность, основные положения, выносимые на защиту, апробация работы, достоверность, объем и структура работы.
В первой главе диссертации проведен обзор известных методов цифровой обработки изображений, применяемых в фото- и видеосистемах с матричными фотоприемниками, а также в ряде тепловизионных систем (компенсация неоднородностей параметров и характеристик элементов матричного приемника, выявление дефектных элементов и их замещение, компенсация шумов методами пространственной и временной фильтрации, выделение контуров, автофокусировка, преобразование уровней яркости и контраста, геометрическое совмещение двух кадров, мультиспектральное сложение, стабилизация).
Анализ этих методов применительно к тепловизионным системам на базе микроболометрических матриц показывает, что они нуждаются в существенной доработке. Так, применительно к тепловизионным системам с микроболометрами наиболее часто используемая двухточечная калибровка не обеспечивает требуемого качества изображения во всем наблюдаемом диапазоне температур. При компенсации шума при помощи пространственной фильтрации происходит размытие контрастных границ объектов, что снижает пространственное разрешение, а как следствие, снижает расстояние обнаружения и распознавания. Применяя линейный фильтр дифференцирования можно повысить контраст границ объектов, что приводит к повышению дальности обнаружения и распознавания. Побочным эффектом является повышение уровня шума и изменение внешнего вида изображения (выделение контуров). Используя линейный фильтр дифференцирования, можно построить алгоритм, позволяющий производить сравнительную оценку качества фокусировки объектива. Линейный метод автоматической регулировки уровней яркости, применяемый в тепловизионных системах, нуждается в доработке с целью увеличения контраста изображений в широком температурном диапазоне.
Во второй главе рассматриваются пути совершенствования методов цифровой обработки изображений в тепловизионных системах на основе микроболометрических матриц.
Экспериментально было показано, что зависимость сигнала от температуры наблюдаемого объекта не является линейной, но достаточно хорошо описывается полиномом второго порядка. Дальнейшее увеличение порядка полинома не приводит к существенному снижению ошибки приближения. Поправочные коэффициенты определяются путем калибровки по трем температурам объекта для каждой из рабочих температур матрицы и записываются в память прибора.
Предлагается метод замещения дефектного элемента (пиксела), основанного на применении в блоке цифровой обработки сигнала (рис. 1) фильтра размытия, используемого в ряде других алгоритмов (фильтрация шумов, оконтуривание, автофокусировка). Под линейным фильтром понимается следующая операция 
над элементами изображения 
:
,
где 
задают размеры «окна» фильтра с независимыми от 
весовыми коэффициентами матрицы 
. Для обеспечения сохранения общего уровня сигнала накладывается условие:
.
В работе использовалась следующая маска:
.
Дефектные элементы исключаются из рассмотрения. В местах, соответствующих дефектным элементам, весовые коэффициенты фильтра принимали нулевое значение:
при этом сумма всех элементов должна быть равной единице, для этого проводится нормировка:
.
При применении пространственного фильтра размытия для снижения влияния шума резкие переходы яркостей изображения становятся более гладкими, а мелкие детали практически исчезают. Этого можно избежать, проведя селекцию контрастных участков, для которых производится более слабое размытие или оно не производится вовсе. Для селекции применяется фильтр дифференцирования. Нижняя граница определяется из расчета вероятности принадлежности к равномерному участку, которая должна быть больше определенной граничной величины (например 
), верхняя – меньше другой граничной величины (например 
). Промежуточные значения, лежащие в интервале между нижней и верхней границами, определяются при помощи линейной интерполяции. Можно считать, что шум имеет нормальный закон распределения. Комбинирование размытого 
и исходного 
изображения предлагается производить следующим образом:
,
где весовой коэффициент степени размытия 
определяется на основе квантилей 
и 
по следующей зависимости:
, 
,
где 
, 
, 
– значение сигнала после применения дифференцирующего фильтра. Для поиска квантилей и можно воспользоваться формулой
, 
.
Здесь опять используется маска размытия 
. Это позволяет использование единого фильтра размытия для нескольких алгоритмов различного назначения.
Для реализации дифференциального фильтра предлагается использовать лапласиан, построенный на разности исходного изображения и фильтра размытия, применяемого для подавления шумов и замещения дефектных элементов матрицы.
Построение адаптивной временной фильтрации производится аналогичным образом:
где 
– элементы входного изображения (пиксели) 
кадра, 
– обработанное изображение 
- го кадра, 
– коэффициенты, выбираемые в зависимости от скорости изменения яркости каждого пикселя, 
и 
– верхний и нижний коэффициент накопления, причем 
, а 
может быть любым числом, лежащим в интервале от 0 до 1 (например 
). Будем считать, что если значение сигнала пикселя (в качестве изображения принимается «размытая» разница между кадрами) ниже верхней границы наличия шума, то с вероятностью 0,999 это изменение значения вызвано шумом, а при значении 
, находящемся выше нижней границы отсутствия шума, с вероятностью 0,001 можно считать, что изменение значения в этом пикселе вызвано движением на изображении. Вычисление квантилей и 
производится тем же способом, что и при пространственной фильтрации. Контрастные границы, которые в тепловизионном изображении движутся, в силу разных причин несколько размыты. Для исключения возникновения дефектов при движении этих границ, желательно расширить зону влияния изменяющихся зон (на разности изображений). Это можно осуществить, применив маску наращивания, т.е. поиск максимума модуля разности по локальной подобласти.
При работе многих тепловизионных приборов было замечено значительное преобладание коррелированного шума по столбцам и строкам, имеющего вид полос, над прочими шумами. Указанные выше фильтры не способны удалить эти полосы без существенной потери качества изображения. В диссертации предлагается метод компенсации влияния данного вида шума на изображение, который иллюстрирован алгоритмом компенсации горизонтальных полос. Алгоритмы, производящие компенсацию шумов по столбцам или по строкам, выполняются по отдельности. Разработанный метод базируется на предположении, что изменение изображения под действием шума происходит для всей полосы (столбца или строки) по общему закону
,
где 
– исходное (зашумленное указанным типом шума) изображение;
– результирующее (очищенное) изображение;
– искомый вектор параметров.
В качестве функции 
взята линейная зависимость:
.
Параметры преобразования 
(такие, как 
и 
) находятся из условия минимизации разницы между результирующим изображением 
и предполагаемым 
.
Предполагаемое изображение находится путем аппроксимации значений соседних с 
элементов, считая, что значения элементов рассматриваемой полосы 
не известны. Задача решается методом наименьших квадратов. Для ограничения искажения всей полосы из-за влияния контрастных границ на результаты вычислений вводятся ограничения на разность яркости рассматриваемых пикселей.
На основе анализа линейного и гистограммного методов регулировки уровней яркости предлагается новый метод, компенсирующим основные недостатки каждого из них. При этом простота метода, по сравнению с гистограммным методом, сохраняется. Он позволяет уменьшить влияние шума и снизить влияние больших однотонных зон, обеспечивая контраст между двумя объектами с различной яркостью. Это достигается введением верхних и нижних ограничений контраста. На основе этого предложения был разработан быстрый алгоритм, позволяющий реализовать данный метод со скоростью, сравнимой со скоростью реализации гистограммного метода. Новый алгоритм основан на сборе гистограммы от гистограммы уровней сигнала по одному кадру. Полученное изображение для восприятия человеком лучше или, в крайнем случае, не хуже, чем при использовании линейного или гистограммного методов.
При масштабировании, повороте и прочих аффинных преобразованиях изображения широко применяются различные интерполяционные функции. При масштабировании в нецелое число раз видеопоследовательности, имеющей высокий уровень шума, появляется «сетка» чередующихся зон с высоким и низким уровнями шума. Различия между этими двумя зонами могут быть незначительными, однако в связи с периодичностью и отсутствием передвижения этих зон при движении сцены эта «сетка» хорошо различима и может отвлекать внимание оператора. Этот эффект возникает из-за особенностей интерполяции при масштабировании и повороте. Переход от линейной функции интерполяции к кубической не устраняет этот эффект. В диссертации предлагается метод интерполяции, который осуществляется путем вычисления взвешенного среднего (с динамически изменяемыми весовыми коэффициентами):
,
где 
– значение яркости в пикселе старого изображения, 
– значение яркости в пикселе нового, масштабированного, изображения, 
– область, по которой производится интерполяция (близлежащие точки), индекс пиксела 
связан с областью (с индексами 
) заданным пространственным преобразованием, 
– интерполяционные коэффициенты, такие, что 
. Индекс можно рассматривать как некоторое представление новых координат, а индекс – старых. Рассматривается аддитивный некоррелируемый гауссовский шум с математическим ожиданием, равным нулю. В этом случае сигнал можно представить в виде:
,
где 
и 
– незашумленная и зашумленная (получаемая) видеопоследовательности, 
– величина шума с математическим ожиданием 
и дисперсией 
, – индекс пиксела в рассматриваемой строке матрицы изображения, 
– номер кадра. При условии некоррелируемости шума 
выражение для дисперсии по времени для преобразованного изображения примет вид:
.
Поскольку повысить резкость в размытых интерполяцией областях мы не можем, то, соответственно, для равномерности дисперсии шума искусственно «размоем» изображение в областях, не подверженных интерполяционному размытию. Поскольку размытие при интерполяции не велико, то и дополнительное местное размытие не должно сильно повлиять на изображение. Такое незначительное размытие может уменьшить влияние шумов, так как его можно рассматривать как низкочастотный фильтр. В работе представлено два примера построения подобных нелинейных фильтров.
Поиск пространственного взаимного рассогласования двух изображений является одной из основных частей алгоритмов геометрической стабилизации изображения, построения панорамного изображения, совмещения изображений. В работе предложен метод, рассчитанный для работы при произвольном угле взаимного поворота изображений.
Наиболее простой способ нахождения параметров поворота, смещений и масштабирования заключается в переборе некоторых возможных их сочетаний. Этот подход очень затратен по времени. Статистический анализ по столбцам и строкам позволяет оптимизировать только работу со смещениями и масштабированием, но работает нестабильно при движении и требует проверки ответа. Для каждого угла возможного угла поворота необходимо проводить всю процедуру заново. Такой метод пригоден для работы с малыми углами отклонения. При больших углах поворота он становится трудоемок.
Предлагается использовать значения сигналов и статистические моменты, собранные по кольцу (группе окружностей) с радиусами 
на изображении 
, где ‑ непрерывная функция, интерполирующая дискретное изображение . С каждым таким кольцом можно связать матрицу 
, где 
изменяеться с шагом 
, т.е. 
(где 
), а индекс 
(где 
). Элементы матрицы определяются интерполяционно, например, по билинейной интерполяции.
С кольцом 
свяжем ряд полезных в дальнейшем числовых характеристик:
математическое ожидание значений яркости внутри кольца –
;
дисперсия значений яркости внутри кольца 
–
;
момент инерции значений яркости на кольца –
,
где 
,
.
Заметим, что при вращении изображения 
на произвольный угол вокруг пикселя 
значения числовых характеристик 
, 
, 
кольца не меняются по значению, так как при вычислении , и просто циклически меняется порядок суммирования.
Сначала ищутся три числа , и , которые характеризуют распределение значений яркости вокруг пикселя и которые инвариантны относительно поворотов вокруг пикселя . На практике равенство следует рассматривать как некоторый допустимый интервал значений. Таким образом 
, 
и 
на первом кадре в точке 
должны быть близки аналогичным значениям 
, 
и 
на втором кадре в соответствующей точке 
.
Поиск угла и смещения находится перебором путем сравнения эталонного кольца с выбранным. Для оптимизации работы на выбранном кольце число точек может быть существенно меньше, чем на эталонном. Подходящими значениями будем считать те значения смещений и поворота, при которых обеспечивается максимальная корреляция (либо минимальное рассогласование изображений по выбранной норме).
Используя величин взаимного смещения, поворота и масштабирования последовательности кадров, можно строить панорамное изображение, под которым здесь понимается покадровое совмещение изображений последовательности отдельных кадров, получаемой сканированием оптико-электронной системой (ОЭС) интересуемого участка пространства. Алгоритмически задача построения панорамного изображения из нескольких кадров близка к задаче пространственной стабилизации видеоизображения. Отличие заключается в том, что при построении панорамного изображения необходимо компенсировать полностью все движения, а не только высокочастотные, как это делается при стабилизации. Это накладывает более строгие ограничения на точность определения смещения. Проблема состоит в том, что с каждым последующим кадром ошибка накапливается. В работе предлагается уменьшать накопленную погрешность путем увеличения расстояния по времени между сравниваемыми кадрами. Для оптимизации объемов памяти предлагается вводить специальные опорные кадры, по которым будет производиться сравнение. Развитием идеи сравнения с опорным кадром является сравнение текущего кадра с построенной панорамой. Это позволит сократить использование памяти для хранения кадров для сравнения, а также, в некоторых случаях, сократить время на сравнение.
В третьей главе кратко описаны системы, в которых использованы разработанные алгоритмы. Приводятся основные технические характеристики тепловизионных систем и комплексов «Сыч», «Скопа», «Шахин», «Модуль-МБ2», «Филин», «Аврора», разработанных в ОАО «ЦНИИ «Циклон». Большинство рассмотренных тепловизионных систем было построено на базе ПЛИС фирмы Xilinx. Некоторые системы построены на базе DSP-процессоров фирмы Texas Instruments. Схемы других приборов отличаются незначительно. В качестве дисплея (если он предусматривается конструкцией) используется OLED-дисплей. Для вывода на внешние средства отображения во всех приборах полученное изображение преобразуется в телевизионные форматы PAL или NTSC.
На рис. 2 показана последовательность обработки сигнала с матрицы при компенсации неоднородностей и шумов. Она может быть реализована конвейерно. Разработанные в диссертации алгоритмы позволили расширить функциональные возможности тепловизионных систем и комплексов. Традиционный линейный алгоритм автоматической регулировки усиления заменен на последовательность обработки изображения перед выходом, состоящим из алгоритмов оконтуривания и преобразования уровней яркости с помощью модифицированного гистограммного метода. Для работы алгоритма оконтуривания кроме изображения заранее подготавливается размытое изображение, формируемое с помощью линейного фильтра размытия с учетом адаптивной фильтрации. В системах осуществляющих мультиспектральное совмещение, пространственное преобразование производится только над одним из видеоизображений.
Рис. 2. Последовательность обработки сигнала с матрицы
Заключение
Результаты проведенных исследований и разработок позволяют сделать следующие основные выводы.
Применение многотабличной трехточечной калибровки в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен.
Для замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки может быть построена система алгоритмов, реализуемая на базе общего фильтра размытия.
Для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование, поворот) равномерно зашумленных белым шумом изображений возможно использовать предложенный метод, основанный на использовании фильтра размытия.
Предложенный быстрый алгоритм автоматической регулировки уровней яркости эффективен для обработки в реальном масштабе времени изображений с широким диапазоном яркости.
Используя метод, основанный на сборе статистики по окружностям на изображении, можно построить алгоритм нахождения геометрического рассогласования двух кадров для произвольного угла их взаимного поворота.
Реализация и тестирование предложенных методов и программных средств повышения качества изображений подтверждают их эффективность для тепловизионных систем с неохлаждаемыми микроболометрическими матрицами.