Запросы по содержанию — новый шаг в геоинтеллектуальной обработке космической информации

      Комментарии к записи Запросы по содержанию — новый шаг в геоинтеллектуальной обработке космической информации отключены

Запросы по содержанию — новый шаг в геоинтеллектуальной обработке космической информации

Н.М. Ковалевская,  К.А. Боенко, Н.Н. Добрецов, А.Ю. Королюк

Современные базы данных и каталоги космических изображений насчитывают терабайты информации. На орбиту выводятся новые и новые спутники с высоким и очень высоким разрешением.  В этих условиях пространственный анализ каждого снимка занимает огромные временные ресурсы, и особенно актуальным делается ответ задачи содержательного поиска.

В то же самое время мировое космическое сообщество начинает накапливать геоинтеллектуальный потенциал совсем нового качества, предоставляя космические эти, связанные:

  1. с природными и техногенными трагедиями (International Charter,  http://www.disasterscharter.org/home );
  2. с чрезвычайными обстановками (Crisis Event Service, http://www.digitalglobe.com/index.php/48/Products?product_id=26 ),
  3. со особыми событиями каждой семь дней (ESA. Earth from Space: image of the week, http://www.esa.int/esaEO/SEM9UELY17E_index_0.html ) (рис. 1)

Рис.1. Радарный снимок пустыни Гоби. Спутник Envisat, 23 июля 2010 г.

В следствие этого появляется вопрос — как обучиться действенно формализовать, хранить и применять такую данные, неповторимую в соответствии с представлением и по содержанию?

Серьёзное отличие содержательного поиска в базах данных (БДИ) и в каталогах космических изображений (ККИ) от поиска в классических базах данных пребывает в том, что процесс визуального поиска природных объектов и объектов антропогенного происхождения не имеет возможности проигнорировать законы зрительного восприятия.   Это значит, что при оценке визуального сходства/несходства объектов должны употребляться правила функционирования зрительной совокупности.

На ранних стадиях восприятия визуальных объектов мозг преобразует нейронные сигналы, идущие из сетчатки, в простые элементы восприятия: линии, точки, контрастные элементы и т. д.  Существуют неоспоримые факты в нейробиологии, каковые подтверждают тот факт, что мгновенное (начальное) выделение образа осуществляется благодаря контекстным влияниям в первичной зрительной коре головного мозга так, что самые ответственные либо самые «заметные» места на изображении вызывают более высокие нейронные отклики в восприятии [1].   Мгновенное  восприятие определяется и сходством, и контрастом локальных показателей.

Наряду с этим нейронные импульсы  усиливаются, в случае если окружающие элементы имеют контрастную ориентацию (рис. 2).

Рис.2 Ранние этапы зрительного восприятия текстур

Иначе, при визуальном выделении образов с множеством небольших подробностей реализуется совсем другой уровень зрительного мышления — образное либо  гештальт-восприятие.  Так, живописец подсознательно применял принцип группировки элементов: бусы, ожерелье, драгоценные камни  расположены так, что  воспринимаются неспециализированные показатели портрета (рис. 3).

Рис.3. Визуальное выделение образов с множеством небольших подробностей

Разумеется, что существуют такие зрительные процессы, благодаря которым устанавливаются пространственные соотношения объектов и создается неспециализированное восприятие визуального образа. Наряду с этим некий эскиз элементов образа вносит собственный вклад в восприятие так, что выделяются самые заметные элементы.

Предстоящее применение  эскизов вместо самих объектов разрешает проигнорировать несущественные подробности, тем самым процесс выделения и содержательного поиска отысканных объектов делается значительно более действенным.

 Sketch-Модель

Рис.4. соответствующие эскизы и Визуальные образцы

Разглядывая совокупность зрительного восприятия на предварительном этапе распознавания и обработки изображений, Марр выяснил начальный уровень восприятия визуальной информации  как некоторый  эскиз, воображающий изменение и структуру яркостей визуального примера  (рис. 4).

Для модели эскиза будем разглядывать визуальные образцы объектов на снимках большого и очень высокого разрешения, как владеющие свойством пространственного самоподобия (во многих случаях это правильно и для космических снимков среднего разрешения) в смысле некой повторяемости парных элементов, поддерживаемых одной и той же комбинацией положений на растре.

Вероятностное самоподобие однородного примера свидетельствует, что все вероятные парные комбинации сигналов рассматриваются с разными возможностями появления на этом примере.   Другими словами, в случае если некая пара входит в состав пар сигналов, воображающих эскиз визуального примера, то соответствующая ей возможность имеет значение, отличающееся от нулевого.

Тогда любой более либо менее визуально-однородный пример может взять пара численных черт по заданным направлениям и на заданных расстояниях в соответствии с некоей мерой сходства с свободным случайным полем (НСП) [2].   Разумеется, что  чем больше линейность, регулярность, направленность, шероховатость и т. д. примера, тем больше его визуальное отличие от НСП (рис. 5).

Рис.5. Визуальное сравнение образцов с НСП

В этом случае два визуальных примера воображают одно да и то же содержание, либо относятся к представлению одного и того же класса естественных либо антропогенных объектов, если они имеют родные распределения матриц пар значений сигналов в парах одного и того же типа (рис. 6,7).

Рис. 6. Визуальные образцы изображения хвойного леса на снимках с различным разрешением Рис. 7. Визуальные образцы объектов на мультиспектральных снимках со спутника QuickDird

Наряду с этим размер матриц пар значений сигналов зависит от так именуемого окна поиска эскиза: чем больше размер окна, тем более правильной есть оценка эскиза примера. Иначе, чем больше окно, тем медленнее осуществляется содержательный поиск.  Исходя из этого выбор размеров окна есть эмпирическим результатом разумного компромисса между детальностью эскиза и вычислительной стоимостью (рис.

8).

Рис.8. Зависимость детальности эскиза от окна поиска

Так, при сравнении двух визуальных образцов нет необходимости сравнивать все данные, содержащуюся в них.  Сравнению подлежит только та значительная часть (Sketch), которая кодируется в зрительной памяти и мгновенно воспринимается зрительной совокупностью человека.

Sketch-запросы по содержанию

Результаты содержательных Sketch-запросов всецело соответствуют психофизиологическому разделению визуальных данных на группы неявных показателей.  Помимо этого, совокупность выясняется способной к дообучению [2].

Как пример на рис. 9 приведены результаты первых пяти запросов в выбранной БДИ.  Не смотря на то, что сама БДИ воображает достаточно сложный вариант  для визуального поиска в силу неоднозначности деления объектов на классы, результаты были очень обнадеживающими.    90% запросов показывают верный итог в качестве первого выбора поисковой совокупности.  Первые два результата оказываются верными для более 65% запросов.

  И более 40% запросов продемонстрировали верными первый, второй и третий результаты поиска.

Рис. 9. Пример результатов содержательного ЖД-поиска

Обрисованная поисковая совокупность была способной к нахождению новых показателей визуального сходства, согласующихся со зрительным восприятием.  Так, отдельные результатов поиска (помечены знаком (!) на рис. 9)  не смотря на то, что формально и продемонстрировали несовпадения с классами запросных образцов, но, практически, являются визуально сходными с запросным примером по тому либо иному визуальному показателю.

  Другими словами, поисковая совокупность способна к экспертному дообучению: любой итог Sketch-запроса, помеченный знаком (!), возможно объединен с соответствующим примером для Sketch-поиска  в один класс по некоторым визуальным показателям, не учтенным специалистами в исходной классификации.

Опыты с примерами, забранными со снимков очень высокого разрешения (Quickbird, 0,7м)  были еще более оптимистичными.  Поисковая Sketch-совокупность «выбирала» результаты поиска следующим образом (рис. 10):

  • в 100% случаев первый итог относился к тому же классу, что и запросный пример;
  • в 60% случаев второй и последующий  результаты относились к тому же классу, что и запросный пример (кустарники, кустарники с редколесьем, дачи, поселки, покос и т.д.).

Рис.10. Результаты поиска в БДИ очень высокого разрешения

Sketch-выделение участков на снимках очень высокого разрешения

Ответственным этапом содержательного поиска  в соответствии с заданными  визуальными чертями есть выделение соответствующих участков на изображениях.

В частности, опыты со Sketch-выделением объектов на снимках спутников Quickbird (0,7м) и IKONOS (1м) продемонстрировали что учет:

  1. визуального восприятия структурно-яркостных черт объектов и
  2. оценки уровня самоподобия образцов

ведет к итогам  «практически ручного» выделения; отличие не превышает 2% (рис.11, 12).

Рис.11. Результаты выделения на фрагменте снимка IKONOS (1м):
слева — ручное выделение, справа — Sketch-выделение Рис.12. Результаты выделения фрагмента снимка QuickBird (0,7м):
слева — ручное выделение, справа — Sketch-выделение

Заключение

С возникновением снимков большого и очень высокого разрешения выделения искомых и процесс поиска объектов поднялся на  принципиально новый уровень: вместо поэлементного анализа совокупность обязана обучиться «мыслить»  целыми объектами, либо частями объектов [3].   Это делается особенно актуальным, потому, что классификации и стандартные процедуры анализа спектральных особенностей  пространственных объектов выясняются неэффективными.   В частности, лес, что может смотреться спектрально однородным при низком разрешении и среднем, на снимке очень высокого разрешения выясняется складывающимся из отдельных их теней и деревьев.

Новейшие технологии разрешают заметить объекты территорий так близко из космоса, что делается вероятным сказать о формальном описании таких визуальных черт, как шероховатость, контрастность, направленность, линейность, регулярность, зернистость и т. д.

С одной стороны, ситуация вынуждает разрабатывать новые подходы к анализу и обработке космических изображений, а иначе — раскрываются новые возможности геоинтеллектуализации визуальной обработки в существующих каталогах  космических снимков.

С целью этого создана  особая Sketch-модель, которая разрешает выделять самые представительные структурные сочетания элементов примера для содержательного поиска.  На базе данной модели реализуются действенные запросы по содержанию в базах данных и каталогах космических изображений с возможностями последующего экспертного дообучения.

Теоретические базы подхода разрабатывались совместно с университетом Санта-Фе (США, штат Нью-Мексико) и лабораторией биоинженерии Пенсильванского университета (США, штат Пенсильвания).  Практические изучения проходили при применении данных лаборатории геосистемных изучений Центрального сибирского ботанического сада СО РАН.

   Разработка ПО осуществляется в лаборатории геоинформационных технологий и минералогии и института дистанционного зондирования геологии СО РАН им. В.С. Соболева.

Перечень литературы

 Julesz B., Gilbert E., Shepp L. Inability of humans to discriminate between visual textures that agree in their second-order statistic–Revisitedю// Perception. 1973. Vol.2 . P.391–405.

  1. Н.Ковалевская, К.Боенко. Оценка  черт запросов для содержательного поиска в базах данных космических изображений.// Вычислительные разработки. Нов-ск, издательство ИВТ СО РАН, 2008, т.13, №2. с.53-69.
  2. Н.М.Ковалевская, К.А.Боенко, О.В.Ловцкая, Н.Н.Добрецов, А.Ю.Королюк.  Контекстное моделирование объектов земной поверхности с целью получения метаданных о содержании изображений.// Вычислительные разработки. Нов-ск, издательство ИВТ СО РАН, 2010, 16с.(в печати).

Making of Shenmue Japanese TV Special


Интересные записи на сайте:

Подобранные по важим запросам, статьи по теме: