Обработка данных бпла в программе uasmaster

      Комментарии к записи Обработка данных бпла в программе uasmaster отключены

Обработка данных бпла в программе uasmaster

Н. Э. Рубцова

Сейчас в сфере аэрофотогеодезии делается все более популярным и обсуждаемым использование беспилотных летательных аппаратов (БПЛА) в фотограмметрических целях.  Главными факторами аналогичной тенденции есть оперативность получения данных и довольно дешевизна реализации аналогичных проектов. Так, съемка маленьких территорий в целях широкомасштабного картографирования посредством беспилотных летательных аппаратов делается фактически вне конкуренции для хорошей аэросъемки либо спутниковой съемки по временным и экономическим показателям.

Само собой разумеется, кроме преимуществ, съемочные эти с БПЛА характеризуются рядом изюминок, что делает использование к ним хороших способов фотограмметрической обработки пара затруднительным. Масса негативных факторов: применение некалиброванных бытовых камер со шторно-щелевыми затворами без компенсации сдвига изображений, нестабильное поведение летательного аппарата в воздушном пространстве, недорогое оборудование (обычно на БПЛА устанавливают лишь GPS-приемник без инерциальной совокупности и не используют дифференциальную коррекцию), —  накладывает определенный отпечаток на подход к обработке таких данных.

Исходя из этого параллельно с ростом интереса к съемке посредством БПЛА растет и количество новостей от разработчиков современных цифровых фотограмметрических совокупностей (ЦФС) о появлении в их программных  продуктах каких-то наборов функций и специальных алгоритмов именно для работы с этими данными.

Среди легендарных фотограмметрических ответов одним из самые производительных есть программный комплекс (ПК) Inpho от компании Trimble — полнофункциональная фотограмметрическая совокупность, разрешающая решать широкий спектр задач, которые связаны с фотограмметрической обработкой снимков. В данной статье мы более детально остановимся на возможностях по обработке данных с БПЛА предлагаемых компанией Trimble в ПК Inpho на сегодня.

В Inpho особые методы для обработки съемочных данных с БПЛА были реализованы, начиная с версии 5.5 (релиз 14 ноября 2012 г.). Н сегодняшний сутки текущая версия программы Inpho — 5.6.3 (релиз декабрь 2013 г.). Имеющиеся функциональные возможности по обработке фотограмметрических проектов были расширены методом добавления опций, предназначенных для оптимизации уже существующих методов и учитывающих кое-какие особенности этих данных.

В первую очередь, была реализована полная помощь данных в формате Gatewing. Другими словами, к примеру для БПЛА UX5 либо Х100, через конвертор в файл проекта Inpho машинально загружаются снимки, информация о камере и информацию об ориентации сенсора. Для других беспилотных летательных совокупностей употребляются стандартные функции импорта при определении проекта.

Стратегия, предложенная разработчиками как раз для работы с данными с БПЛА, содержится в итерационной обработке этих данных.

Сперва в модуле MATCH-AT выполняется уточнение элементов внешнего ориентирования через функцию автоматического извлечения связующих на одном уровне пирамид загруженных в проект снимков  The point extraction in one level (For UAS images or to refine an initial EO). Наряду с этим задается достаточно неотёсанная точность автоматических измерений на снимках (100*размер пикселя) и GPS данных (10м по x,y,z), в соответствии с которым этим измерениям присваивается вес при уравнивании проекта.

Так, мы показываем программе на высокую степень недоверия этим измерениям на начальной стадии обработки (рис. 1).

Рис. 1. Окна настройки параметров извлечения связующих точек

Метод извлечения пара отличается от стандартного метода, в то время, когда  связующие точки извлекаются на больших уровнях пирамиды изображений и уточняются по мере приближения к исходному разрешению снимков. Процесс последовательного уточнения заменяется избыточностью измерений для конкретной области проекта за счет применения всех дешёвых комбинаций стереопар для данной области проекта. Помимо этого, размер матрицы поиска не ограничен.

Очевидно,  это ведет к повышению времени вычислений. Главными параметрами уточнения ЭВО являются: уровень пирамиды изображения;  ограничение области поиска (задается в средних базисах фотографирования) для сокращения количества снимков, на которых ведется поиск соответственных точек; значение допуска поперечного параллакса для исключения ошибочных отождествлений.

По окончании анализа взятого ответа (а также интерактивного измерения недостающих связующих точек посредством инструмента Multi Photo Measurement Tool, к примеру, в регионах с низкой текстурой изображения) выполняется пост-обработка (уравнивание). Наряду с этим употребляется метод поиска выбросов, и понижаются допуски на точностные характеристики измерений на снимках (до 2*размер пикселя), точность GPS данных остается прошлой (10 м по x,y,z).

Потом направляться измерение всех опорных точек посредством инструмента Multi Photo Measurement Tool (вероятен непроизвольный, полуавтоматический и ручной режимы измерения связующих и опорных точек).

При наличии достаточного количества и грамотном размещении опорных точек на следующем этапе выполняется калибровка камеры в модуле inBlock. Начиная с версии Inpho 5.5, модуль inBlock был разделен на 2 режима (лицензирование кроме этого раздельное): для калибровки и для строгого уравнивания. Используем inBlock для калибровки камер, задаем точности измерений в соответствии с рекомендациям: точность наблюдений на снимках равна размеру пикселя; точность данных GPS 10м по x,y,z; точность опорных точек по x,y образовывает GSD/8; точность опорных точек по z образовывает 3*GSD/8.

В следствии приобретаем уравненный блок с новой калиброванной камерой (все координаты точек пересчитаны в соответствии с взятому значению основной точки). Наряду с этим в некоторых случаях, в то время, когда приближенные параметры камеры значительно отличались от настоящих, измерения громадного количества связующих точек смогут быть ошибочными. В таких случаях рекомендуется по окончании получения более правильных параметров камеры удалить все имеющиеся связующие точки и запустить их повторное измерение.

Само собой разумеется, в случае если БПЛА был оснащен правильным оборудованием, а также проводилось измерение углов посредством инерциальной совокупности, была выполнена калибровка камеры, возможно применять стандартную обработку проекта в Inpho.

Следующий этап, на котором потребовались усовершенствования методов обработки данных классической аэросъемки, — это автоматическое извлечение цифровых моделей рельефа (ЦМР) (рис. 2).  Для начала отметим, что, начиная с версии 5.5, в ПК Inpho был реализован новый метод извлечения плотных туч точек (с плотностью впредь до точки на пиксель) – Cost-Based Matching (CBM).

Концептуально, это реализация метода попиксельного отождествления Semi-Global Matching (Hirschmuller, 2005), пара модифицированного разработчиками программы, к примеру, в CBM отсутствует ход предварительного выравнивания яркости пикселей изображений. Разглядим работу метода CBM на примере стереопары двух снимков: сперва по известным элементам внешнего ориентирования выполняется расчет базовых (эпиполярных) линий, другими словами линий, где поперечные параллаксы точек отсутствуют.

Потом снимки трансформируются так, дабы  базовые линии размешались параллельно оси х,  это ограничивает поиск соответственных точек с двух направлений до одного. Потом некоему пикселю с  левого изображения среди некоего множества n пикселей соответственной базовой линии на правом ищется парный пиксель. Наряду с этим для всех пар пикселей вычисляется некая функция от корреляции, так называемая «цена».

В следствии мы имеем множество значений цен в виде куба диспаритета, основание которого соответствует размеру матрицы изображения, а высота n.  Минимальное значение цены соответствует большой корреляции. Вычислив для каждого пикселя основания это минимальное значение, приобретаем карту глубины (любой пиксель отображает расстояние от точки фотографирования до объекта), которая после этого пересчитывается в облако точек, отображающее настоящую поверхность. Подобные вычисления выполняются по нескольким направлениям, так, статистические способы обработки разрешают исключить вероятные выбросы в результирующем облаке точек.

Рис. 2. Настройки параметров извлечения цифровой модели высот

Для обработки данных БПЛА показалась особая настройка оптимизации этого автоматического метода UAS.  Применение оптимизации увеличивает число участвующих моделей (стереопар) с 1 до 6. Другими словами для облака точек будут использованы пара моделей для измерения одной точки (рис. 3).

Логично, что наряду с этим будет создано больше точек, но это потребует и намного больше времени для обработки. Помимо этого при применении этого типа оптимизации MATCH-T DSM увеличивает минимальный угол засечки до 9°, другими словами при создании облака точек не употребляются пары с маленьким базисом, каковые снижают результирующую высотную точность.

Рис. 3. Пример машинально взятого облака точек по итогам съемки с БПЛА

Остальные модули трудятся как в большинстве случаев. Другими словами потом возможно в интерактивном либо автоматическом режиме выполнить редактирование, классификацию, фильтрацию взятого облака точек в модуле DTMaster и посредством инструмента DTMToolkit. А после этого, применяя взятую ЦМР либо цифровую модель местности (ЦММ), выстроить ортофото (подлинное орто) и мозаику (подлинную мозаику) посредством модулей OrthoMaster и OrthoVista.

Необходимо подчеркнуть, что все упомянутые модули ПК Inpho возможно запускать посредством файла и — пакетного-задания (инструмент DTMToolkit возможно использован через командную строчок, начиная с версии 5.6.0). Другими словами Inpho предлагает пользователям возможность создания однокнопочного решения типа «тёмный ящик».

Само собой разумеется, применение подхода не гарантирует, что сейчас программа разрешает в всецело автоматическом режиме взять результаты топографической точности по нажатию одной кнопки. Разработчики так же, как и прежде рекомендуют шепетильно доходить ко всему процессу получения конечной продукции, начиная с проектирования съемки. К примеру, распределение опорных точек должно быть подобным классической аэросъемке.

Тут кроме этого необходимо учесть кое-какие своеобразные  требования, если вы сохраняете надежду на качественный итог. К примеру, продольное перекрытие снимков должно составлять порядка 80–90%, дабы в покрытии не было дыр в следствии «болтанки» самолета в воздухе. Потом в работу включается оператор, что обязан верно выяснить проект, выбрать точности всех параметров, участвующих в уравнивании, решить о качестве уравненного блока/модели высот, отредактировать что-то вручную.

  Но у для того чтобы подхода, в то время, когда оператор осуществляет контроль любой этап обработки, имеется соперники. Довольно дешевизна съемки вытекает в обработку данных в дорогостоящем ПО, требующем особых знаний.

Так, учитывая требования и специфику проектов некоторых клиентов по обработке как раз данных с БПЛА (другими словами не всем необходимы все функциональные возможности модулей Inpho), было решено по созданию отдельного продукта на базе имеющегося опыта компании.  В конце прошлого года компания объявила выход нового отдельного и самодостаточного программного продукта для обработки данных с БПЛА — UASMaster (рис. 4).

Программа есть собственного рода мостиком между обработкой в режиме «тёмного коробки» для пользователя? не специалиста  и обработкой в более интерактивном режиме для пользователя?фотограмметриста.

Интерфейс программы будет знаком пользователям стандартных модулей Inpho, иконки функций, заглавия инструментов и т.п. остались без трансформаций (рис. 4). Но все окна программы, что очень полезно для непрофессионалов и новых пользователей, были дополнены новой вкладкой UAS, которая есть собственного рода инструкцией: последовательность применения инструментов сверху в низ.

Дополнительно показалось окно заполнения статусов, для самоконтроля.

Рис. 4. Интерфейс программы UASMaster

Как было сообщено выше, при создании продукта употреблялся опыт хорошего Inpho, другими словами практически это тот же ПК  Inpho, но с ограниченными возможностями. Ограничения: большой проект из 2000 снимков, камера не более 40 мегапикселей, создание единого облака точек на проект и единой мозаики.

В программы остается модульность. Создание проекта выполняется в окне UAS Applications Master (аналог Applications Master) — создание проекта, снимков конвертирования и опции проекта, загрузка всей исходной информации, формирование проекта. Программа сохранила подход Inpho для инструментов импорта данных в проект, другими словами смогут быть загружены фактически каждые эти (как с БПЛА самолетного типа, так и вертолетного).

Необходимо подчернуть, что разработчики тестировали продукт перед его релизом на разных данных, предоставленных партнерами компании Trimble, а также съемке с воздушного шара; либо в то время, когда территория была отснята разными камерами (обработка велась в среде единого проекта). UAS Applications Master кроме этого есть ядром программы для запуска последующих этапов обработки.

Фототриангуляция выполняется в окне UAS Measurement (аналог Photo Measurement Tool). Тут случились большие трансформации. Сейчас  области компьютерного зрения и фотограмметрии идут рука об руку, и в следствии в фотограмметрических программах появляются новые методы отождествления изображений, автоматического распознавания объектов и т.д.

Компания Inpho кроме этого смотрит за инновациями и последними тенденциями, и так в UASMaster был реализован метод автоматического извлечения связующих точек по всей области перекрытия (а не только в территориях Ван Грубера) посредством оператора SIFT. Это разрешает приобретать отличный итог обоюдного ориентирования блока при минимальном вмешательстве оператора.

Добавлены разные стратегии, в зависимости от качества и полноты исходной информации (учитывается разрешение снимков, наличие и точность информации от бортовых совокупностей).  Возможно извлекать связующие точки на исходном разрешении снимков Full Resolution (рекомендуется при размере пикселя более 4 мкм), на загрубленном в 2 раза разрешении Half Resolution (при маленьких размерах пикселя), низком разрешении Low Resolution (для неотёсанного уточнения ЭВО) и уточнить угловые ЭВО Half Resolution Approx 2D (для блоков с малоизвестными либо весьма неотёсанными ЭВО) (рис. 5).

Рис. 5. Настройка способа извлечения связующих точек

Чем аргументированы варианты извлечения точек на различных уровнях пирамиды? Представьте себе, что съемка выполнялась на высоте 70 м посредством камеры SonyNex (БПЛА UX5), размер пикселя на местности GSD составит 2 см. Для меньших сенсоров (пиксели меньше) это значение будет значительно меньше.

Учитывая уровень качества изображений, не нужно ждать точность 2 см в пространстве объекта, не смотря на то, что теоретически обработка на исходном разрешении Full Resolution обязана давать как раз подпиксельную точность. Исходя из этого для маленьких сенсоров мы рекомендуем делать обработку с загрубленным вдвое разрешением  Half Resolution, так обработка будет выполнена значительно стремительнее и результирующая точность будет сопоставима с результатом обработки на исходном разрешении Full Resolution.

По окончании измерения опорных точек доступно уравнивание с параллельной калибровкой камеры (рис. 6). Снова же в зависимости от полноты исходной информации (какие конкретно параметры камеры были известны) возможно выбрать адекватную схему обработки.

Калибровка камеры посредством способа первого приближения First Approximation употребляется при отсутствии информации о дисторсии камеры. Уравнивание с калибровкой дает возможность приобрести первую модель дисторсии камеры, и, следовательно, уточнить проекции опорных точек (несложнее измерить). Экстенсивная Extensive калибровка должна быть выполнена для всех камер, независимо от ее качества. Для данной калибровки требуется предварительная модель дисторсии для ее уточнения.

Будет выполнено пять последовательных калибровок. Уточнение Refine направляться применять, в случае если по окончании калибровки в режиме Extensive были измерены дополнительные опорные точки. Новые опорные точки смогут оказывать влияние на модель камеры и, следовательно, должны быть учтены в калибровке.

Рис. 6. Настройка способа уравнивания с калибровкой камеры

Опционально возможно делать уравнивание блока по одной из трех дешёвых стратегий. Все три варианта уравнивания являются необязательными. Они нужны лишь при повторном измерении точек, по окончании проверки измерений либо для трансформации параметров уравнивания.

Способ по умолчанию Default направляться применять лишь , если ваша камера была откалибрована, и вы измерили новые либо повторно измерили кое-какие связующие либо опорные точки. Способ Weak направляться применять, в случае если ваша камера не откалибрована либо конфигурация блока неустойчива, к примеру, для предварительного поиска ошибочных измерений опорных точек.

Способ Weak Approx.2D может употребляться для снимков, для которых не было измерено автоматических связующих точек, и каковые должны быть подключены к другой части блока по окончании исполнения ручных измерений (рис. 7).

Рис. 7. Иллюстрация необходимости применения способа уравнивания Weak Approx.2D

По сути, встроенные методы являются поручителем получения надежных результатов кроме того оператором без знания фотограмметрии и какого-либо опыта в обработке данных. Однако, покинуты возможности интерактивного измерения связи для очень проблематичных областей (смаз какой-либо области проекта, громадные области с однородной текстурой и т.п.).

Ручное редактирование либо создание новых измерений вероятно в моно и стерео режиме; кроме этого дешёвы режимы всецело ручного, автоматического и полуавтоматического измерений. Инструменты анализа данных посредством графических инструментов, как эллипсы неточностей, остаточные невязки и т.п., дешёвы полностью.  Окно информации о статистической оценке кроме этого осталось без трансформаций.

Другими словами пользователям дешёв полный комплект инструментов Inpho для редактирования и экспертизы уравненного блока (рис. 8). Помимо этого, реализована новая занимательная функция: в окне накидного монтажа инструмента UAS Measurement возможно выделить пара снимков, и при запуске какого-либо этапа обработки все вычисления будут выполнены лишь для этих снимков.

Рис. 8. Оценка качества уравнивания посредством разных графических инструментов

Необходимо дать должное разработчикам программы. Кроме того при наличии в проекте смазанных снимков, неотёсанных значениях координат центров фотографирования, неполном определении камеры, маленькой матрице фотоаппарата и неоптимальном распределении опорных данных по площади проекта ожидаемая точность может составить впредь до 0,7 пикселя.

По окончании уравнивания блока возможно переходить на этап создания конечных продуктов обработки: ЦМР/ЦММ и ортомозаик в окне UAS Edit (рис. 9). Создание высотных моделей выполняется по пирамидам изображений, с увеличением степени и последовательным уточнением детализации. При создании ЦМР употребляются два главных метода отождествления: мельчайших квадратов (МНК=LSM) и объектно-ориентированный (FBM).

Вероятно создание ЦМР с разным шагом сетки: Detailed (Детальная) — сетка с шагом 27*GSD по уровню 0; Smooth (Ровная) —сетка с шагом 30*GSD по уровню 1; Smoother (Более ровная) — сетка с шагом 30*GSD по уровню 2. При создании ЦММ употребляется способ CBM. Вероятно автоматическое извлечение цветного облака точек, по которому позже рассчитывается модель высот, с плотностью до точки на пиксель.

Наряду с этим скорость обработки образовывает порядка 3 секунд на снимок, а результирующая точность по высоте образовывает 1–2 пикселя. Для ЦММ кроме этого доступно настроить результирующую плотность: Dense (Плотная) — сетка с шагом 3*GSD по уровню 0, Medium (Средняя) — сетка с шагом 3*GSD по уровню 1, Sparse (Редкая) — сетка с шагом 3*GSD по уровню 2. Тут употребляются уже протестированные в хорошем Inpho и доказавшие надёжность и свою эффективность методы интерполяции, выбросов и фильтрации шумов. Помимо этого остались возможности оцифровки и редактирования структурных линий, объектов и т.п. в 3D.

Рис. 9. Настройка способа автоматического разработки ЦМР и ЦММ

По окончании создания модели высот направляться создание ортофотомозаки с автоматическим выравниванием по цветам и возможностью заполнения и отслеживания невидимых областей (для подлинных ортомозаик). Наряду с этим снова же употребляются многократно протестированные методы автоматического построения линий сшибки на базе объектно-ориентированного подхода.

Для выровненной по цвету и интенсивности мозаики радиометрическая коррекция выполняется в автоматическом режиме как для отдельного снимка (удаление бликов, эффектов виньетирования), так и для группы снимков. Скорость обработки образовывает порядка 4 секунд на снимок. Реализован весьма эргономичный подход к применению имеющейся в проекте высотной информации: WYSIWYG (What you see is was you get).

Другими словами возможно включать/отключать часть высотной информации и оценивать, как это повлияет на конечный итог обработки (рис. 10).

Рис. 10. Иллюстрация принципа WYSIWYG

Необходимо подчеркнуть, что в окне UAS Edit существует возможность определения области обработки посредством полигона произвольной формы.

Ну и само собой разумеется, в программе имеется возможность применения одной из двух вероятных стратегий режима «тёмного коробки» Quick Processing. В случае если ваш проект имеет достаточно полное определение данных, возможно запустить метод Full Resolution. Для получения более неотёсанного и неспециализированного ответа употребляется метод Preview.

В следствии вы  получите уравненный блок, матрицу высот и ортомозаику на целый проект.

Непременно, при наличии соответствующих лицензий, проект возможно экспортировать в стандартную среду Inpho для исполнения более сложных операций, на каковые существуют ограничения в новой программе UASMaster, к примеру, для деления на тайлы цифровых моделей рельефа в DTMToolkit либо ортомозаик в OrthoVista, преобразования форматов высотных моделей и т.п.

Подводя черту, хочется еще раз напомнить, что компания Inpho и предлагаемые ею программные продукты надежно зарекомендовали себя на рынке фотограмметрических ответов. Новая программа UASMaster — это частично полностью новое ПО, нацеленное на решение всех своеобразных задач по обработке данных  с БПЛА, но одновременно с этим, в нем употребляется принцип наследия всего лучшего из существующих ответов Inpho по обработке аэрофотосъемки в целом. Не обращая внимания на кажущуюся множество функций и сложность программы, делать обработку может фактически любой пользователь, кроме того не имеющий особого фотограмметрического образования.

Вебинар Особенности классической фотограмметрической обработки данных с БПЛА


Подобранные по важим запросам, статьи по теме: