Практическое применение методов ключевых точек на примере сопоставления снимков со спутника «канопус-в»

      Комментарии к записи Практическое применение методов ключевых точек на примере сопоставления снимков со спутника «канопус-в» отключены

Практическое применение методов ключевых точек на примере сопоставления снимков со спутника «канопус-в»

Б.В. Райченко, В.В. Некрасов

В статье рассматривается задача автоматизации сопоставления данных космической съемки. Одним из стандартных ответов данной неприятности есть нахождение локальных характерных изюминок (контрольных точек) и их сопоставления с аналогичными главными точками на снимках вторых космических аппаратов (КА).

Существующие способы требуют корректировки и ручного отбора оператором вычисленных точек-кандидатов для отсеивания фальшивых срабатываний, появляющихся из-за различных типов сенсоров КА, различных условий съемки (положение КА, сезонные трансформации снимаемой территории), непостоянства многих характерных изюминок: пересечений грунтовых дорог, слияний русел рек, наличия поверхностей с переменным коэффициентом отражения, техногенных и естественных трансформаций местности. Предлагаемые алгоритмы и методы адаптируют изображения для оптимизации применения методов детекции главных точек и ориентированы на большое применение априорных данных (примерная геопривязка по ориентации звездных датчиков, допустимые размеры невязки, организованные опорные снимки на обрабатываемый район), каковые после этого используются для проверки статистических моделей сопоставления. Это разрешает всецело автоматизировать поставленную задачу.

Одно из ответов задачи автоматического сопоставления снимков содержится в применении разработки главных точек. Особенности космической съемки создают предпосылки для происхождения неточностей сопоставления второго рода (фальшивые сопоставления главных точек), каковые вынуждают проводить ручную фильтрацию совпадающих точек оператором. Потом рассматриваются алгоритмы и методы, разрешающие совершить такую фильтрацию машинально за счет полного применения имеющихся в распоряжении информации о местностии условиях съемки.

ОСОБЕННОСТИ ДАННЫХ КОСМИЧЕСКОЙ СЪЕМКИ В ЗАДАЧАХ СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ

Процесс сопоставления изображений основывается на сравнении и поиске характерных показателей местности, видимых на космических снимках. Но большая часть из таких показателей смогут не иметь постоянного характера. К примеру, происходят сезонные трансформации русел рек, снежный покров может не только скрыть кое-какие особенности местности, но и принципиально меняет темперамент окрестности, обедняя ее признаковую насыщенность.

Конечная точность ориентации по навигационным данным воздействует на неточность геопривязки. Помимо этого, неточное знание рельефа в холмистой местности вносит дополнительную плановую неточность.

Наряду с этим снимки одной и той же местности, сделанные различными КА, смогут различаться из-за отличия сенсоров, условий съемки (положение КА, сезон года, воздух) и случившихся трансформаций (рис. 1, 2).

Рис. 1. Различное световое представление одной и той же местности на снимках различных КА Рис. 2. Блики (отмечены красным) и трансформации на местности (зеленым)

ЛОКАЛЬНЫЕ ИЗЮМИНКИ

Локальные изюминки изображения, каковые возможно применять в задачах автоматической обработки (localfeatures), владеют следующими характерными особенностями:

  • устойчивость (робастность): особенность выявляется при любых изменениях (масштабирование, поворот, смена угла съемки) изображения;
  • локальность: особенность занимает маленькую площадь снимка (не районы);
  • отличимость (дискриминантность): особенность имеет неповторимое описание (окрестность), не видящееся в других местах изображения.

Одним из видов локальных изюминок являются т. н. главные точки (в английской литературе — keypoints), владеющие этими особенностями.

Сопоставление снимков посредством главных точек содержится в нахождении главных точек на снимках, и последующем сравнении окрестностей главных точек.

Преимущества применения способа главных точек:

  1. Увеличение возможности распознавания местности в условиях неполной видимости. К примеру, в условиях малом облачности, достаточно нескольких маленьких, но характерных изюминок местности для успешного сопоставления.
  2. Увеличение возможности верного совпадения при умеренном трансформации условий и сцены съемки.
  3. Отысканные совпадения владеют пиксельной а также субпиксельной точностью.
  4. их количества оптимизация и Уменьшение вычислений: сравниваются не полные изображения снимков, а лишь их фрагменты (окрестности характерных точек).

АДАПТАЦИЯ СПОСОБОВ МАШИННОГО ЗРЕНИЯ К КОСМИЧЕСКОЙ СЪЕМКЕ

Текущие реализации методов детекции главных точек (FAST, SIFT, SURF) в целом предназначены и оптимизированы под объекты окружающего мира: как правило рассматриваются объекты неестественного происхождения, характеризующиеся наличием плоских текстурированных поверхностей, прямых линий, резкими трансформациями коэффициента отражения (грани), и т. п. Помимо этого, в них не учитывается влияние воздуха, «размывающей» границы объектов.

Космическая съемка имеет дело с природными и рукотворными объектами принципиально иного масштабного размера: современные сенсоры очень высокого разрешения имеют разрешающую свойство 0,5 м. Наряду с этим большинство космических снимков имеет монотонную текстуру: леса, поля, водоемы, что не соответствует критерию дискриминантности локальных изюминок.

По данной причине, нужна важная адаптация в методике применения метода главных точек при обработке данных космической съемки.

ОБОБЩЕННЫЙ МЕТОД СОПОСТАВЛЕНИЯ КОСМИЧЕСКИХ СНИМКОВ С ПРИМЕНЕНИЕМ СПОСОБОВ Главных ТОЧЕК

Обобщенный метод применения способов главных точек для сопоставления космических снимков складывается из следующих шагов:

  1. предварительная обработка снимков;
  2. детекция главных точек и вычисление описания окрестностей точек (дескрипторов);
  3. деление снимков на территории с гарантированным пересечением области;
  4. аппроксимированный поиск похожих дескрипторов в сопоставляемом снимке;
  5. проверка дискриминантности похожих дескрипторов довольно вторых дескрипторов (фильтр неточностей второго рода);
  6. геометрическая валидация главных точек в района;
  7. геометрическая валидация главных точек в снимка;
  8. робастное вычисление подходящей геометрической изменении одного снимка в второй.

ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА СНИМКОВ

На данном этапе производится предварительная обработка исходного снимка для адаптации к методам детекции главных точек. Для большинства приобретаемых снимков (тут и потом упоминаются эти космической съемки, полученные КА «Канопус-В») распределение значений яркостей пикселов концентрируется в достаточно узком диапазоне. Выравнивание гистограммы ведет к распределению значений яркостей пикселов по всему задействованному диапазону (8 бит, либо 256 градаций яркости).

Такая предобработка деструктивна для снимка, исходя из этого при предстоящей обработке (по окончании отысканного сопоставления) употребляется исходный снимок. Более продвинутая предобработка должна быть лична: нормализация гистограммы яркости проводится в соответствии с референсной гистограммой данной местности и данного сезона года. Снимок ортотрансформируется с учетом ЦМР для устранения влияния ориентации камеры.

ДЕТЕКЦИЯ Главных ТОЧЕК И ВЫЧИСЛЕНИЕ ДЕСКРИПТОРА ПО ОКРЕСТНОСТЯМ ТОЧКИ

Рис. 3. Вычисление разностей гауссианов [1]С математической точки зрения главные точки — это точки, являющиеся локальными экстремумами функции яркости, в т. ч. и по окончании наложения сглаживающих фильтров. Довольно часто главные точки определяются как локальный экстремум в матрице, взятой отличием гауссианов.

Распространенным критерием отбора «хороших» главных точек есть «отклик» (response) — значение отысканного локального экстремума по окончании наложенного сглаживающего фильтра.

Рис. 4. Проверка точки: есть ли локальным экстремумом среди 8+9+9 точек на текущей и смежных 3?3 шкалах (scale) [1]Однако при обработки данных космической съемки громадное значение «отклика» возможно фальшивым, потому, что большой «отклик» имеют блики, не являющиеся устойчивыми. Исходя из этого при анализе моделей сопоставления не учитывается значение «отклика».

Вторым критерием отбора главных точек есть октава гауссовой пирамиды, на которой была произведена детекция. Уровень октавы характеризует площадь, на которой эта точка есть локальным экстремумом. Соотношение масштабов сопоставляемых снимков при анализе моделей должно соответствовать соотношению уровней октав (рис.

3, 4).

По окончании детекции главных точек анализируются их окрестности, каковые сохраняются в виде структур, именуемых дескрипторами. Дескриптор содержит не полные значения яркости, а градиенты яркости, записанные в виде векторов, каковые суммируются по большим участкам для определения выраженного направления (рис. 5).

Рис. 5. Вычисление дескриптора главной точки [1]Из-за факторов, сопутствующих космической съемке, нет устойчивых (робастных) объектов площадью более 4 кв. м на характерном фоне (нужное свойство дискриминантности). Изучения продемонстрировали, что отличных показателей при этих событиях даетдетекция большего числа точек, равномерно распределенных в организованных областях, и их предстоящая отбраковка (рис.

6, 7).

Рис. 6. Пример детектированных главных точек Рис. 7. Анализируются тысячи неотфильтрованных моделей совпадений. Задача: учитывая дополнительную данные о местности, отфильтровать неверные модели

ДЕЛЕНИЕ СНИМКОВ НА ТЕРРИТОРИИ С ГАРАНТИРОВАННЫМ ПЕРЕСЕЧЕНИЕМ ОБЛАСТИ

Для плотного и по возможности равномерного покрытия снимка главными точками, он делится на квадраты. Больший эффект достигается, в то время, когда снимки сегментируются по устойчивым стабильным регионам, в которых будут выделяться локальные изюминки.

Размер грани квадрата связан с предельной величиной неточности привязки (т. е. неточности несопоставления). Квадрат опорного в сопоставлении изображения должен быть выбран большей площади, так, дабы конкретно существовало ответ задачи сопоставления изображений. Так, при большей предельной неточности сопоставления количество разбираемых моделей возрастает.

Более того, существенно растет количество фальшивых соответствий, что ухудшает уровень качества разбираемых моделей и в конечном счете ведет к вырожденному ответу.

Рис. 8. Грани квадрата опорного изображения больше граней сопоставляемого снимка на величину предельной неточности

Однако предельная величина неточности привязки изображений — один из оптимизируемых параметров в анализе моделей сопоставления изображений. Неточность привязки складывается из двух составляющих: систематической и случайной.

При реализации итеративного поиска ответа (coarsetofine) возможно затевать с вправду громадных размеров предельной величины неточности привязки, пропуская неизбежные отсутствия ответов, но по окончании первых отысканных совпадений, прошедших валидации, направляться переинициализировать цикл отысканным значением (рис. 8).

Возможность неточности правильной привязки по опорным данным зависит от соотношения площади запаса по краям опоры к площади сопоставляемого снимка. Соответственно для громадных значений принимаемой предельной неточности направляться брать громадную площадь квадрата. Отношение площади ответа к площади сопоставляемого снимка представляется формулой:

АППРОКСИМИРОВАННЫЙ ПОИСК ПОХОЖИХ ДЕСКРИПТОРОВ В СОПОСТАВЛЯЕМОМ СНИМКЕ

Использование правильного поиска однообразных дескрипторов не дает результатов из-за свойства непостоянства местности. Исходя из этого используется поиск похожего дескриптора (аппроксимированный поиск). Один из подходов к сравнению похожести дескрипторов пребывает в:

  • представлении каждого множества (т. е. каждой окрестности главной точки) в виде точки в многомерном пространстве (по количеству элементов в множестве. дескрипторы распространенных методов детекторов содержат 64 элемента);
  • вычислении Lp-нормы для каждой многомерной точки;
  • предположении о похожести окрестностей на основании близости их Lp-норм.

Данный подход относительно стремителен и дает качественные результаты для незашумленных изображений, но не подходит для разглядываемой задачи.

Рис. 9. Деления пространства k-мерным деревом [2]Лучший итог показывает аппроксимированный поиск посредством k-мерного дерева (k-d tree), разбивающее k-мерное пространство на подпространства так, дабы любая точка пребывала в своем подпространстве. Принципиально важно отыскать не самый похожий дескриптор (ближайший сосед), а как минимум двух соседей (точки D и B на рис. 9) для проверки дискриминантности дескрипторов.

В итоге для каждой главной точки сопоставляемого изображения будет обнаружено опорном изображении два ближайших кандидата в пары.

ПРОВЕРКА ДИСКРИМИНАНТНОСТИ ПОХОЖИХ ДЕСКРИПТОРОВ Довольно ВТОРЫХ ДЕСКРИПТОРОВ (ФИЛЬТР НЕТОЧНОСТЕЙ ВТОРОГО РОДА)

Рис. 10. Пример хороших пар, отысканных посредством аппроксимированного поиска дескрипторов (среди пар до тех пор пока имеется большое количество фальшивых)

Обнаруженные прошлом шаге два похожих дескриптора-претендента в пары (два ближайших соседа) анализируются (рис. 10). Выполняется проверка соотношением совпадений (рис.

11), по окончании которой отфильтровываются все пары, не считая «доминантных», в которых второй ближайший кандидат в пары к точке на сопоставляемом снимке существенно хуже (дальше в многомерном пространстве). В итоге остается множество пар главных точек, образованных выраженным сходством окрестностей (рис. 12).

Рис. 11. Симметричная проверка (cross-check) совпадения окрестностей главной точки. В случае если окрестности точки 1 самый похожи окрестностям точки a, то осуществляется обратная проверка.

В случае если окрестности точки a более всего похожи на окрестности второй точки 2, то и точка 1, и точка a удаляются из моделей сопоставления.

ГЕОМЕТРИЧЕСКАЯ ВАЛИДАЦИЯ Главных ТОЧЕК В РАЙОНА

Среди пар главных точек, совпадающих по окрестностям,большое количество фальшивых — около половины. Ответ данной задачи способом мельчайших квадратов дает робкие результаты из-за высокой доли фальшивых совпадений. Для обнаружения совпадений среди большинства фальшивых совпадений используется статистический метод RANSAC (RANdomSAmpleConsensus — консенсус случайных выборок). Реализация

Рис. 12. Проверка соотношением совпадений (ratio-check). Точки, чьи окрестности похожи на пара вторых окрестностей, удаляются из модели сопоставления, потому, что не являются характерными

метода RANSAC в библиотеке OpenCV осуществляет диагностику консенсуса посредством перспективного преобразования двух плоскостей, тогда как действенной для разглядываемого способа есть более строгая проверка консенсуса ригидной изменением (3 степени свободы вместо 8; рис. 13).

Рис. 13. Пример успешной геометрической валидации: отфильтрованы все фальшивые совпадения.

Красным продемонстрированы границы квадрата сопоставляемого снимка, зеленым — границы квадрата опорного снимка.

ГЕОМЕТРИЧЕСКАЯ ВАЛИДАЦИЯ Главных ТОЧЕК В СНИМКА

Полученные на прошлом шаге геометрические преобразования используются ко всем парам главных точек для оценки геометрии по площади всего снимка. Отбираются изменение, имеющая мельчайшее значение среднеквадратичного отклонения (СКО).

РОБАСТНОЕ ВЫЧИСЛЕНИЕ ПОДХОДЯЩЕЙ ГЕОМЕТРИЧЕСКОЙ ИЗМЕНЕНИИ ОДНОГО СНИМКА В ВТОРОЙ

Из всего множества отобранных пар главных точек отбраковываются с применением робастного способа Хубера пары, дающие солиднейший вклад в сумму квадратов невязки сопоставляемых снимков.

ВЫВОДЫ

Рассмотренные методы и алгоритмы были апробированы в составе стенда главного конструктора КА «Канопус-В». Успешная обработка снимков вероятна лишь при наличии качественных данных, взятых ранее, среди них и с вторых КА. Очевидна необходимость инвестировать в уже имеющиеся эти дистанционного зондирования Почвы, что ставит особенные задачи по созданию репозиториев геоданых, в которых изображения сохраняются и управляются на всех этапах жизненного цикла по сквозным комплектам геопространственных атрибутов.

ПЕРЕЧЕНЬ ЛИТЕРАТУРЫ

  1. David G. Lowe 2004. Distinctive Image Features from Scale-Invariant Keypoints
  2. Beis and Lowe 1999. Indexing without invariants in 3D object recognition

Открытый космос | Реальные съемки в открытом космосе | Хроники NASA | Outer Space NASA


Интересные записи на сайте:

Подобранные по важим запросам, статьи по теме: