Каталогизация пространственных данных для облачных вычислений

      Комментарии к записи Каталогизация пространственных данных для облачных вычислений отключены

Каталогизация пространственных данных для облачных вычислений

Рис. 1. Применение облачных вычислений в правительственных организациях разрешает снизить цена пространственных разрешённых и улучшить доступ для пользователей

УПРАВЛЕНИЕ КОСМИЧЕСКИМИ СНИМКАМИ

Действенное применение разнообразных «ролей», делаемых облаком

Каталогизация снимков в виде облака предоставляет аналитикам широкий диапазон возможностей. Подобно великому актеру, облако способно играться самые различные «роли». Ниже перечислены кое-какие из ролей, исполняемых динамической функцией каталогизации.

Регулировщик перемещения: Без ущерба для навигации по видеоданным (каковые сейчас поступают из облака), достигается улучшенная свойство к стремительной смене масштаба просмотра либо полосы пропускания, потому, что информационный канал сейчас может применять ресурсы облака подобно информационному каналу центрального процессора с предсказанием переходов.

Историк-консультант: Визуальное представление истории анализа снимков, к примеру, кто и в то время, когда приобретал доступ к снимкам. Кроме этого вероятно получение вторых нужных сведений, к примеру, какие конкретно части снимков просматривались, с каким разрешением и в каких полосах пропускания, и каждые другие метаданные, касающиеся пользовательских сеансов.

структура и Механизм вычислений

Специалист: Доступ к дополнительным возможностям обработки в облаке, таким как более действенное обнаружение аномалий на базе параметров уведомления, определенных пользователем; удаление неестественных показателей на базе исторической информации либо подробной структуры полосы.

Прогнозирование потребностей: Исполнение оверлейных программ в настоящем времени для загрузки по требованию актуальных данных, таких как узнаваемые неестественные сооружения, эти лазерной измерения дальности и системы обнаружения и данные в других полосах пропускания, и прочую данные, к примеру, демографические эти либо текущий вместимость и уровень водоемов.

Эластичный менеджер метаданных: Интерактивное расширение метаданных за счет включения положенных данных (к примеру, данных, каковые в большинстве случаев присутствуют во вторичных таблицах совокупности управления реляционной базы данных), что разрешает сэкономить место и повысить быстродействие.

Ассистент: Внесение в каталог организованных пользователями данных, содержащих ссылки на фундаментальные данные (снимки, видеоданные, векторы и т.д.) с возможностью их совместного использования и последующего извлечения. Поиск главных слов в комментариях аналитиков с возможностью обзора и подписки последних проанализированных изображений, содержащих определенные главные слова.

Применение облачных вычислений в качестве новой концепции для реализации целей правительства, пребывающих в улучшении доступа и сокращении затрат для пользователей, открывает новые пути в области каталогизации пространственных данных.

Опыт говорит, что возможности совокупностей дистанционного зондирования Почвы (ДЗЗ) так же, как и прежде превосходят возможности аналитиков по расшифровке информации и своевременной обработке. К примеру, группировка спутников компании DigitalGlobe — QuickBird, WorldView-1 и WorldView-2 — в общем итоге осуществляет съемку очень высокого разрешения около 1,5 млн км в день. Данный разрыв стал еще более заметен по окончании введения платформ сбора данных, снабжающих получение видео с полноценным понятием перемещения (full-motion video — FMV) и наблюдение в широком районе (wide-area surveillance — WAS), что особенно актуально при срочной расшифровке фото- и видеоданных, используемых в ответе задач стратегической и тактической разведки.

В целях ликвидации указанного разрыва организации, занимающиеся разведкой, непрерывно совершенствуют и оттачивают стратегии хранения корпоративных данных и управления данными, включая проектирование громадных хранилищ данных, талантливых обеспечить повсеместный экономически действенный доступ к широкому диапазону выходных данных, таких как отчеты, изображения и карты.

Не обращая внимания на существующие трудности, разрабатываемые подходы и стратегии открывают широкий диапазон преимуществ, которые связаны с каталогизацией геокосмических данных в виде облака для хранения корпоративных данных и управления данными.

ВЫЧИСЛИТЕЛЬНЫЕ СТРАТЕГИИ

Облачные вычисления снабжают доступ к функциям Map Reduce (предварительная обработка+свертка данных, MR), Bulk Synchronous Parallelization (массивная синхронная параллелизация, BSP) и Language Integrated Query (язык интегрированных запросов, LINQ), используемым для стратегий скоростных вычислений (High-Performance Computing — HPC). К примеру, принцип параллелизации, свойственный облачным вычислениям, разрешает повысить производительность при подготовке громадного количества мозаичных изображений, настраивая выходные данные в зависимости от текущего расположения пользователя и его заданных предпочтений. Процессоры, трудящиеся по принципу облака, смогут в один момент принимать и отправлять очередной комплект мозаичных изображений клиенту для кэширования, подготавливая оверлейные сегменты с неестественными сооружениями для свободного доступа по запросу и формируя комплекты мозаичных изображений с более низким разрешением, каковые смогут быть использованы для восполнения пробелов при неожиданного понижения пропускной свойстве канала связи на протяжении роуминга.

Такие программные продукты, как Микрософт LINQ для HPC, смогут оказать помощь в определении оптимальной стратегии структурирования, отправки и обработки запросов пользователей. Эти разработки снабжают, с одной стороны, совместимость со стандартными SQL-запросами (Structured Query Language — язык структурированных запросов), а иначе — преобразование в эквивалентный запрос на втором языке, что применяет кэш и соответствующий процессор данных.

Такие стратегии кроме этого разрешают достигнуть более наглядной реализации логики программы. К примеру, цветовое представление пикселей по SQL-запросу может различаться от функции, определенной пользователем, но это представление будет совсем естественным и легко воспроизводимым на протяжении исполнения этапа reduce (свертка данных) операции map-reduce (предварительная обработка-свертка данных).

СТРАТЕГИИ УПРАВЛЕНИЯ ДАННЫМИ

Облако кроме этого поддерживает функции совместного использования и копирования базы данных, что разрешает создавать качественные, масштабируемые и распределяемые серверы мозаичных изображений, данных и метаданных. Благодаря применению хранилищ данных NoSQL, таких как HBase, Cassandra, MongoDB и CouchDB, облако снабжает высокую доступность данных и метаданных. Бесчисленные методы управления данными, реализуемые в таких хранилищах, разрешают выбирать оптимальные стратегии запросов.

К примеру, хранилище данных Hbase — либо кроме того файловая совокупность Hadoop (HDFS), применяемая для Hbase — предназначены чтобы получить доступ к громадным массивам иногда записываемых и довольно часто читаемых данных, таких как мозаичные сегменты карты. Колоночные хранилища данных Cassandra одинаково прекрасно поддерживают эти RDF (Resource Description Framework, схема описания ресурсов) и метаданные, структурированные в виде иерархии.

Хранилища документов MongoDB поддерживают стремительные обновления записей без необходимости переписывания записи полностью. Другие технологии, такие как Lucene/Solr, разрешают улучшить процесс обработки запросов методом индексации содержания в облаке.

Рис.2. Сохранение данных в виде облака разрешает в один момент осуществлять приём изображений, создание мозаики и обработку метаданных благодаря применению возможностей массивного масштабирования, свойственных «облачным» процессорам

Опыт компании Overwatch в обработке данных изображений разрешил достигнуть высоких результатов в управлении и каталогизации базами данных. В частности, созданное компанией приложение GeoCatalog предоставляет возможности масштабируемого управления данными и каталогизации данных, разрешая пользователям организовывать, обнаружить и извлекать геокосмические эти посредством настраиваемых схем, запросов, индексации и шаблонов результатов (рис. 2).

Благодаря масштабируемости приложение возможно применять для работы на отдельных портативных компьютерах, в мелких рабочих группах и на больших фирмах, оно поддерживает различные данные и наборы данных, включая DPPDB (Data Point Positioning Database, База данных размещения точек привязки), применяемую правительственными организациями США.

Приложение GeoCatalog интегрировано в такие средства анализа изображений, как RemoteView и ELT. GeoCatalog включает язык систематизации либо определения схем (рис. 3), что может употребляться для создания неестественных показателей DDL (Data Definition Language, язык описания данных), поддерживающих как SQL-сервер, так и ПО Oracle.

GeoCatalog предоставляет широкий диапазон возможностей, разрешающих аналитикам скоро и действенно осуществлять управление и поиск актуальными пространственными разрешёнными и оптимизировать поток операций.

Рис. 3. Приложение GeoCatalog, созданное компанией Overwatch, предоставляет возможности масштабируемого управления данными и каталогизации данных

Существует пара переходных совокупностей, снабжающих объединенный доступ к дополнительным источникам данных и стандартным разработкам запроса наследуемых данных на базе применения HTTP-запросов (Hypertext Transfer Protocol, протокол передачи гипертекста) и архитектуры ODBC (Open Database Connectivity, открытые средства связи с базами данных). Эти подключаемые переходные совокупности возможно увеличить так, дабы они включали интерфейс OGC (Open Geospatial Consortium, открытый геокосмический консорциум) и другие стандартные интерфейсы.

Переходная буферная совокупность IEC (Integrated Exploitation Capability, Встроенная функция расшифровки) — это клиентская функция, легко настраиваемая на месте посредством конфигурационных файлов XML (Extensible Markup Language, расширяемый язык разметки). Переходная совокупность DataMaster Adaptor приложения GeoCatalog включает в себя клиентский компонент, подобный IEC, что осуществляет сообщение с серверным компонентом на сервере DataMaster Solaris. Эти переходные совокупности делают один запрос, применяя неспециализированный интерфейс пользователя, и отображают объединенный итог.

ПРИМЕНЕНИЕ ПРИНЦИПА ОБЛАЧНЫХ ВЫЧИСЛЕНИЙ ДЛЯ КАТАЛОГИЗАЦИИ

Применение принципа облачных вычислений для каталогизации космических снимков разрешает оптимизировать существующие функции и добавить новые возможности. Классическая каталогизация основывается на SQL-хранилищах метаданных, предназначенных для определения, поддержания и создания метаданных, которые связаны с изображениями и картографическими данными.

Для осуществления данной цели компания OverWatch объединяет возможности приложения GeoCatalog с гибкостью функции Cloudwave, предоставляющей сетевые виджеты для изучения, представления и запросов данных. GeoCatalog, трудящееся на базе Cloudwave, разрешит улучшить сетевую визуализацию метаданных, в т.ч. интерактивную систематизацию, схемы каналов и историю изменений, связывающих эти аналитиков с результатами работы. Изучения, делаемые специалистами по дистанционному зондированию в области возможностей каталогизации геокосмических данных в облаке, являются многообещающими и разрешают сохранять надежду на то, что аналитики, нуждающиеся в действенном инструменте, возьмут его в скором времени.

Перевод с английского языка статьи «Cataloging Geospatial Data for the Cloud» (авторы James S. Blundell, Mike West, Betty Davlin, and Brandon Johnson, Geospatial Products and Solutions, Overwatch Systems, Sterling, Va.), размещённой на сайте http://eijournal.com/2011/cataloging-geospatial-data-for-the-cloud. Перевод подготовлен к публикации Б.А. Дворкиным (Компания «Совзонд»)

Лучшие облачные хранилища


Подобранные по важим запросам, статьи по теме: