Сопоставление изображений
СОДЕРЖАНИЕ: Основной задачей, связанной с сопоставлением изображений является выбор сопоставляемого образа (элементарного по сравнению с примитивами других изображений), а также критерия сходства (количественная мера оценки соответствия образов).Veverka B., Potuchkova M.
Первое решение проблемы сопоставления образов, как и ее естественного аналога, было предложено Хоброу уже в конце 1950-х годов. А коррелятор, первая система автоматического поиска соответственных точек была представлена компанией Wild Heerbrugg в 1964 году. Эта система не нашла широкого практического применения. Тем не менее, идея Хоброу о применении кросс-корреляции нашла много последователей. С начала 1970-х годов развитие сосредотачивалось на сопоставлении цифровых изображений и цифровая корреляция была успешно внедрена в фотограмметрические системы (Helava, 1978). В настоящее время, методы сопоставления изображений, включены в коммерческие фотограмметрические программные пакеты в качестве стандартных измерительных инструментов и расчетов (например, ImageStation™ от Z/I Imaging, Match-T и Match-AT от Inpho, Phodis от Zeiss и т.д.). По сравнению с ручными измерениями, автоматические методы быстрее (особенно в аэротриангуляции больших блоков изображений), а также достигнута точность в целом выше или, по крайней мере сопоставима с точностью аналитических инструментов. С другой стороны, из-за относительно большого количества несоответствий, которые обычно появляются при большом количестве наблюдений (принцип резервирования) и реализации методов для обнаружения и ликвидации неточностей, имеют важное значение для достижения высокой точности (Акерман, 1996a).
Сопоставление образов обычно выполняется в пространстве изображения. Этот подход также является задачей данной статьи. Концепция сопоставления пространственных изображений была также разработана (Helava, 1988), но не нашла практического применения на сегодняшний день.
Множество исследований было сделано в отношении автоматического поиска связующих точек соединения двух перекрывающихся изображений (стереопары) или соединения изображений в блоке (например, Тан и Хепкe, 1996, Акерман, 1996). Поиск точек может быть осуществлен в 2D, например, внутри прямоугольника ориентированно вдоль приближенных эпиполярных линий (см. раздел 1.2.1) в случае относительной ориентации стереопары. Если известны элементы ориентирования, то параметры поиска могут быть ограничены только в одном измерении т.е. непосредственно на эпиполярной линии как это используется при выводе цифровой модели рельефа. Сопостовление аэроизображений и ортоизображений различных дат или двух ортоизображений также возможно, и это является практической задачей, рассмотренной в главах 2 и 3.
Основной задачей, связанной с сопоставлением изображений является выбор сопоставляемого образа (элементарного по сравнению с примитивами других изображений), а также критерия сходства (количественная мера оценки соответствия образов). Совпадение пиксель на пиксель на всей площади перекрывающихся изображений требует очень большого объема вычислений. Более того, это приводит к неопределенности в связи с повторяющимися случаями серых значений и из-за шума на изображениях. Таким образом, в целом сопоставление образов принадлежит к группе сложно решаемых задач. Она не отвечает критериям существования и уникальности решений, что является стабильным по отношению к малым вариациям в исходных данных. Для того, чтобы привести сопоставление образов к легко решаемым задачам, таким как соответствующие образы, критерий сходства, геометрические ограничения и предположения должны необходимо указать, что пространство всех возможных решений будет ограниченным. В таблице 1.2 приводится обзор трех основных методов сопоставления изображений, которые были разработаны и используются в фотограмметрии и компьютерном зрении.
Таблица 1.2 – Методы сопоставления изображений
| Метод сопоставления |
Критерий соответствия |
Сопоставляемый образ |
| Площадной |
Корреляция, метод наименьших квадратов |
Серые значения |
| Функциональный |
Весовая функция |
Значение точек, краев, областей |
| Реляционный |
Весовая функция |
Символическое описание изображения |
В следующих разделах соответствующие методы описаны подробно. Внимание уделяется прежде всего площадным и функциональным методам. Возможности использования в качестве критерия сходства информации о взаимном расположении изображений также обсуждаются.
1.2.1 Площадные методы
Серые значения сопоставляемых образов в площадных методах. Совпадение в один пиксель приводит к двойственности решения. Поэтому используются серые значения нескольких соседних пикселей. Участок образа, вырезанный из одного изображения, так называемого шаблона, ищется во втором изображении. Шаблон состоит из m x n пикселей, в основном м = n. Позиция шаблон задается центральным пикселем, поэтому m и n являются нечетными номерами. Этот шаблон сравнивается с участками того же размера на втором изображении. Примерное положение соответствующей точки на втором изображении, как правило, может быть получено (например, при известном приближенном значении элементов ориентирования двух перекрывающихся изображений). Ограниченный участок сравнения называется район поиска или окно (Шенк, 1999). Значение критерия подобия рассчитывается для каждой позиции шаблона в области поиска. В зависимости от степени критерия подобия, соответствующей точкой в центре шаблона, как правило, будет точка, когда достигаются максимальные или минимальные значения критерия подобия. В фотограмметрии, кросс-корреляции и методы наименьших квадратов являются являются наиболее распространенными для площадного алгоритма. Элементы взаимного ориентирования изображений были применены не только при регистрации MR (магнитный резонанс) или КТ (компьютерная томография) изображений (Маес и др., 1997), в генной инженерной (Цзян Юй, 2001), но также и в фотограмметрии (Paszotta, 1999). Независимо от того, какой выбран критерий соответствия, необходимо рассмотреть несколько вопросов.
Размер и расположение шаблона
Задача подбора шаблона изображения, более соответствующего требованиям уникальности при сопоставлении изображений решена. С другой стороны, геометрические искажения, вызванных рельефом и различиями ориентации изображений будут влиять на соответствие больших шаблонов. Требование уникальности не может быть достигнуто в районах с повторяющимся узором или рисунком или имеющих низкий контраст и структуру. Вода и песок в районах являются типичными примерами, для которых методы сопоставления изображения неэффективны. Участки, скрытых высокими объектами также должны быть исключены. Площадные методы с низкой эффективностью находят соответственные точки на участках, если хотя бы один из них встречается в изображении. Аналогичным образом, соответствие точек на транспортных средствах или в тени приводит к неправильному определению и возникновению параллаксов. В высокогорных районах проекция такого участка не является геометрической. Для того, чтобы получить приемлемый результат, размер шаблона должен быть небольшими или нужно изменить его форму с учетом геометрических искажений (например, трапециевидное окно). Одна из возможностей исключения нежелательных участков или участков, где нужно найти соответствующее изображение является о использование баз данных ГИС. Этот подход можно применять также и для DTM-генерации.
Размер и расположение поискового окна
Для того, чтобы избежать несоответствий, позиция поиска окна должна быть определена достаточно точно на участке с учетом соответствия. Аппроксимация расчетных параметров (например, параметры ориентирования, DTM) и иерархический подход, как правило, используется для этой цели. Иерархический подход или критерий грубых ошибок означает, что соответствующий процесс начинается на более высоких уровнях пирамиды изображение (уменьшение размера пикселя), где мелкие детали подавляются. Параметры рассчитываются из измерений на более высокий уровень пирамиды изображения затем используются в качестве начальной точки соответствия на более низком уровне. На уровне лучшей геометрической разрешающей способности приближенные значения рассчитываемых параметров являются достаточно хорошими для позиционирования поиска окна с такой точностью, что методы сопоставления изображений, в результате точностью до субпикселя могут быть применены.
При работе со стерео арой, в качестве дополнительных геометрических ограничений могут быть применены эпиполярные линии. Рис. 1.8 показывает концепцию проведения эпиполярной линии ограничения. Эпиполярные линии являются линиями пересечения эпиполярной плоскости один и плоскости изображения. Эпиполярная плоскость задается проекцией центров О1, O2 и образом точки Р. Поэтому область соответствия точек P и С должна лежать на пересечении соответствующих эпиполярных линий E и E. Для упрещения сопоставления вдоль эпиполярных линий, изображения могут быть преобразованы в так называемые нормированные изображения т.е. все эпиполярные линии изображения параллельны.
Рисунок 1.8 - Принцип эпиполярной геометрии. Эпиполярная плоскость задается проекцией центров O1 и O2, и образом точки Р. Эпиполярные линии E и E являются пересечением эпиполярной плоскости с плоскостью изображениея.
(Адаптировано из Шенк, 1999)
Размер поискового окна зависит от того, насколько точно оно раположено и по геометрической деформации из-за рельефа и ориентации изображения.
Принятие критериев для степени подобия
Исключение несоответствия является одной из задач, связанных с сопоставлением изображений. Одним из возможных вариантов избегания некоторых несоответствий при сопоставлении является установление пороговых значений для степени подобия. Пороговые значения редко могут быть установлены для всех случаев. Хотя некоторые значения по умолчанию, приведены в литературе, случается, что сопоставление не будет успешным, несмотря на превышение порога, и наоборот. После того, как «лучшая позиция» найдена, должна быть выполнена оценка точности и достоверности найденного соответствия. В дополнение к ограничению степени подобия, геометрические ограничения или корректировка как надежные методы используются в дальнейших расчетах, с тем чтобы исключить ложные сопоставления.
1.2.1.1 Корреляция
Нормализованный кросс-коэффициент корреляции R используется в фотограмметрии как одна из общих мер сходства. Он рассчитывается по формуле 1.4:
r - нормализованный кросс-коэффициент корреляции
- стандартные отклонения серых значений в шаблоне и искомом участке изображения
- ковариация серых значений на участке изображения
gT, gS - серые значения для шаблона и искомой области изображения
- средние из средних значений
R, C - число строк и столбцов участка изображения.
Если шаблон и искомый участок изображений представлены векторами VT, VS из 1xRC серых значений, уменьшая их средние значения gT and gS, , коэффициент корреляции может быть вычислен как R = cos , где - угол между векторами, как показано на рис . 1.9 (Кассер и Энгельс, 2002).
Рисунок 1.9 – Геометрическая интерпретация коэффициента корреляции R = cosО
Значения нормализованного коэффициента корреляции находятся в диапазоне - 1=R= 1. Значение 1 достигается только тогда, когда участки изображений gT and gS связаны линейной связью gT = rsgS + rT, rS 0, где RS соответствует шкале фактора и РТ на переход между серыми значениями в gT и gS. Значения близки к 0 указывать на различие и значение - 1 получается, когда негатив и позитив изображения совпадают. Таким образом, при сопоставлении изображений требуется, чтобы соответствующие положительные значения были близки к 1.
Шаблон передвигается пиксель за пикселем за окном поиска, а коэффициент корреляции рассчитывается в каждом положении. Позиция, когда коэффициент корреляции достигает своего наивысшего значения является позицией лучшего соответствия (см. рис. 1.10).
Рис. 1.10 Принцип сопоставления изображений, основанный на поиске максимума коэффициент корреляции Р. На графике в середине показывает значения коэффициента корреляции, вычисленные для 13 х 13 позиций шаблона в области поиска. Коэффициент корреляции достигает своего максимума 0.79 на позиции строки = 30 и столбца= 32. Области поиска взяты из фото, снятые камерой Rollei 6006, котоые была отсканированы с размером пикселя 21 мкм, шаблон был создан вручную.
Коэффициент корреляции не сообщает о точности найденных позиций для наиболее подходящей. Ряд исследований свидетельствует о связи между решительным сдвигом от центра в окне поиска, шумом/сигналом, а также размером шаблона (Розенхолм, 1986). Этот теоретический результат не был получен в практических расчетах до сих пор. Тем не менее, он ясно показывает, что надежность окончательной позиции из наиболее подходящих зависит от радиометрических свойств участков, которые изменяются в силу различных значений освещения и угла обзора, временными изменениями, или проекции сопоставляемых изображений. Тип почвенно-растительного покрова и рельефа также играет важную роль.
Стандарт отклонений серых значений (формула 1.1) и энтропии меры контраста и количества информации на участке изображения, могут быть использованы для оценки пригодности выбранного шаблона для сравнения. Автокорреляционная функция может быть использован для той же цели (см. раздел 1.2.1.5, испытание A). В автоматизированных процедурах применяются свойства или края операторов (см. раздел 1.2.2). В следующем сопоставлении принимаются только те результаты, когда максимальный коэффициент корреляции превышает данный порог. Если в процессах с хорошо определены объекты измерения принимаются исходных точек отсчета или искусственных задач, то пороговый метод является успешным методом для устранения или, по крайней мере, существенного сокращения количества несоответствий. То есть. пороговые значения в 0, 7 оказались пригодны для автоматического измерения исходных точек отсчета. В случае сетки крестов или сигнальных контрольных точек, когда фон не является однородным, порог должен быть несколько сокращен, например, до 0, 5 (Краус, 1997). Аналогичная ситуация с природными контрольными точками, хотя для практического применения значения порога в 0, 7 зачастую является стандартным. В общем, установление порога для коэффициента корреляции не означает, что все несоответствия устранены. При работе с естественными целями, некоторые хорошие соответствия имеют низкий, а некоторые ложные соответствия имеют высокий коэффициент корреляции. Установление порога для ряда успешных соответствий, исключается из дальнейших расчетов, хотя некоторые несоответствия остаются. Поэтому алгоритмы для вычисления параметров ориентации или DTM поколения от соответствующих точек должны содержать стандарты для устранения несоответствий (см. раздел 1.3).
Если наиболее подходящее положение должно определяться с точностью субпикселя, то значения коэффициента корреляции вокруг своего максимального аппроксимируются непрерывной функцией, например, многочленом, параметры которого определяются методом наименьших квадратов (Краус, 1997). Позиция максимума полинома соответствует позиции наиболее подходящего в субпиксели диапазона. Основываясь на стандартах отклонений полиномиальных коэффициентов, полученных методом наименьших квадратов, можно вычислить стандартное отклонение улучшения позиций в наиболее подходящую. В случае поиска вдоль эпиполярной линии решение ограничено корреляционной кривой. Этот метод приближения корреляции поверхности на 2 порядка многочлена, включая формулы для расчета стандартных отклонений от производной позиции подробно описана в Приложении B.1.
Автор перевода: Стрильцив А. И.