Система удаленного мониторинга экспериментов большого адронного коллайдера

      Комментарии к записи Система удаленного мониторинга экспериментов большого адронного коллайдера отключены

Система удаленного мониторинга экспериментов большого адронного коллайдера

В. М. Котов, Н. А. Русакович

Сбор, анализ и предварительная обработка данных, взятых при дистанционном зондировании Почвы (ДЗЗ) посредством космических радиолокаторов с синтезированной апертурой (РСА), связаны с обработкой и накоплением информации, количества которой в десятки тысяч раз превышают средний уровень потребностей и достигают десятков терабайт  в год.

С 1990-х гг. прошлого столетия пользователи имеют возможность приобретать эти космических аппаратов, имеющих РСА (Envisat, RADARSAT, TerraSAR, COSMO-SkyMed), уже собран громадный архив таких данных [1].

На данный момент и в Российской Федерации в рамках Федеральной космической программы ведется разработка космических аппаратов («Метеор-М №3», «Аркон-2М»), оснащенных многофункциональной РСА с активной фазированной антенной решеткой, характеристики которой соответствуют чертям современных РСА [2].

Классические подходы к разработке обработки и инфраструктуры таких количеств данных (взявших наименование «громадные эти») не годятся. Нужны новые подходы к анализу и обработке данных для современных РСА, среди них и реализация интерактивного сотрудничества в режиме удаленного доступа для многоуровневой, распределенной географически вычислительной совокупности обработки данных.

Подобная неприятность стояла и в области экспериментальной физики высоких энергий еще в 90-е годы прошлого столетия при формировании программы изучений наибольшего проекта современности в области фундаментальной науки: созданию Громадного адронного коллайдера (БАК) в Европейском центре ядерных изучений (ЦЕРН), г. Женева, Швейцария.

В следствии долгой работы многочисленного коллектива физиков, программистов и инженеров в ЦЕРНе была создана, отлажена, запущена и удачно трудится второй год в режиме настоящих измерений на пучках ускорителя БАК обработки и система сбора данных опыта ATLAS БАК, объединяющая в единую совокупность все компоненты обработки, передачи и управления Громадных данных (это фильтрация и передача в настоящем времени 100 Gb/s и офлайн анализ и обработка экспериментальных данных количеством в десятки петабайт в год) [3].

Объединенный университет ядерных изучений (ОИЯИ) есть участником программы изучений на БАК. Ответственной составляющей для того чтобы участия в анализе и обработке данных, приобретаемых в опытах на БАК есть создание в ОИЯИ совокупности удаленного доступа настоящего времени (СУДРВ) и интеграция ее в глобальную сервис-ориентированную архитектуру ГРИД-обработки и системы сбора данных опытов на БАК. [4]

На сегодня не существует разработке, снабжающей эффективность обработки и необходимую функциональность таких потоков и количеств экспериментальных данных в одной совокупности. Исходя из этого обработки эксперимента и система сбора ATLAS БАК была поделена на два уровня: онлайн — предварительная обработка и сбор и офлайн — анализ и полная обработка. (рис. 1, 2)

Рис. 1. Неспециализированная совокупность онлайн и офлайн

Рис. 2. Совокупность офлайн-обработки

Офлайн-обработка требует необычно громадных вычислительных ресурсов (приблизительно 100 000 самых замечательных на сегодня процессоров либо 150 Kcores) и была реализована в ГРИД-совокупности (рис.3).

Рис. 3. Совокупность ГРИД-обработки данных опытов на БАК

Продемонстрированная в левом верхнем углу на рис. 3. совокупность DAQ и имеется онлайн составляющая совокупности по предварительной обработке и сбору входных данных. реализации системы и Опыт разработки сбора и обработки данных опытов на БАК возможно использован при создании совокупностей обработки данных в совокупностях ДЗЗ, и в частности для данных, взятых посредством космических радиолокаторов с синтезированной апертурой.

Современная архитектура наземной географически распределенной совокупности обработки данных SAR (Synthetic Aperture Radar), предлагаемая Космическим агентством ЕС (ESA), кроме этого имеет уровень предварительной обработки входных данных, необходимость которой определяется структурой и особенностью форматов данных SAR для исполнения в последующем полного цикла обработки информации с SAR в пакетном режиме. Помимо этого, структура радарных разрешённых позволяет проводить действенный анализ на уровне первичной обработки радиолокационных изображений, оперируя изображением в целом как образом, для анализа и быстрого опознания некоего класса объектов и их черт в интерактивном режиме.

ESA в октябре 2007 г. заключило соглашение с канадской компанией Array Systems Computing на разработку инструментального ПО и с 2010 г.  поставляет набор ПО с открытым исходным кодом NEST (Next ESA SAR Toolbox) [5], включающего в себя функциональность всех прошлых предположений инструментального ПО BEST, BEAM и др. Состав пакета NEST, компоненты и потоки данных приведены на рис. 4.

Рис. 4. Компоненты и потоки данных программного комплекса NEST

По условиям технического задания ESA инструментарий NEST рекомендован для помощи в подготовке элементов совокупности обработки данных SAR, но не есть SAR процессором либо готовой совокупностью обработки SAR данных в полном технологическом цикле.

К тому же, NEST, как программа с открытым исходным кодом, либо как принято обозначать это перемещение в Российской Федерации – свободное ПО (СПО) имеет четыре свободы, в частности разрешает не только изучать и вольно изменять такие программы («нулевая» и «первая» свободы СПО), но и вольно распространять как копии программы («вторая свобода») так и вольно распространять поменянные предположения – для того, чтобы принести пользу всему сообществу («третья свобода»). Возможно исходя из этого функционал известных на рынке программных продуктов для обработки радарных данных фактически аналогичны.

Но современные тенденции, а тем более будущее развитие программ глобального мониторинга внешней среды нереально без широкого интернационального сотрудничества, и исходя из этого самым действенным методом реализации возможностей NEST есть его применение в составе PaaS (Platform as a Service), имеющей кроме этого открытый код, для разработки, тестирования, поддержки и развёртывания полномасштабной обработки и системы сбора данных с космических локаторов РСА, реализующей полный технологический цикл обработки радарных данных. Предполагается в составе PaaS реализовать комплект инструментов для частичной обработки и отображения радарных снимков в среде ArcGIS.

В качестве базы для разработки прототипа аналогичной PaaS предлагается применять совокупность удаленного доступа настоящего времени (СУДРВ) ОИЯИ. СУДРВ представляет собой композитный сервис ГРИД-совокупности и есть фрагментом неспециализированной совокупности обработки данных опыта ATLAS БАК [6]. В соответствии с замыслам развития информационной инфраструктуры опытов БАК ЦЕРН и в соответствии с концепцией «облачных вычислений», где все имеется Сервис (XaaS), СУДРВ ОИЯИ будет использоваться как PaaS для предстоящего развития совокупности обработки данных опыта ATLAS на БАК.

Помимо этого, в соответствии с концепцией «Открытой инновационной лаборатории» опыта ATLAS-LAB (ATLAB), на рабочем заседании ЦЕРН-ОИЯИ «Brainstorming workshop on applications from ATLAS using EU-funding for RD-upgrades» в г. Дубне 24 октября 2010 г по дискуссии доклада ОИЯИ «Real Time remote access system for ATLAS» было поддержано предложение о возможности прикладного применения СУДРВ ОИЯИ в области космического мониторинга, проводимых совместно с ЦЕРН при помощи ESA.

На данный момент обсуждается возможность включения партнерства ЦЕРН-ОИЯИ в состав миссии содействия программы Global Monitoring for Environment and Security (GMES). Программа GMES, проводимая Европейским агентством внешней среды (European Environment Agency, EEA) в партнерстве с ESA, предполагает создание единой совокупности, объединяющей эти наблюдений на суше, море и в воздухе с данными космического мониторинга, от успешного применения которых в значительной мере будет зависеть успех программы в целом.

Базой космической составляющей GMES будут не только спутники Sentinel, намерено создаваемые для данной программы (оператор ESA), но и другие национальные и интернациональные спутниковые совокупности ДЗЗ, партнерство с которыми будет оформлено как миссии содействия GMES(GMES Contributing Missions (GCMs)).

Структура ПО СУДРВ и NEST применяет объектно-ориентированный подход проектирования и соответствует стандарту PSS05 ESA. Объединение NEST и СУДРВ в единую платформу обеспечит интеграцию NEST  в неспециализированную совокупность ГРИД-обработки данных опытов БАК, соответственно и возможность отладки в последующем и offline режима обработки данных космического мониторинга в географически распределенной вычислительной совокупности ГРИД-обработки и партнерство с участием ESA и ЦЕРН.

направляться подчернуть, что не считая инструментария NEST, отражающего специфику обработки радарных данных, предлагаемая платформа PaaS будет обеспечивать кроме этого доступ к сервисам обработки и сбора данных, нужных для функционирования NEST в составе СУДРВ.

В качестве базисного ядра предлагаемой совокупности удаленного доступа для обработки и сбора космической радиолокационной информации предполагается применять комплект компонентов из обработки и Системы сбора данных в настоящем времени опыта ATLAS БАК [7].

Интеграция инструментального пакета NEST ESA и совокупности удаленного доступа СУДРВ ОИЯИ разрешит создать развитую платформу (PaaS) для разработки прототипов (макетов) совокупностей предварительной обработки радарных данных космических локаторов с синтезированной апертурой отладки и высокого разрешения их в условиях настоящей работы в большой географически распределенной вычислительной ГРИД-совокупности обработки данных опытов на БАК.

Перечень литературы:

  1. Обзор современных радиолокационных данных ДЗЗ и методик их обработки с применением программного комплекса SARSCAPE Кантемиров Ю.И., Компания «Совзонд».
  2. Костюк Е. А., Веремчук Ю. А., Денисов П. В. Перспективные разработки обработки космической радиолокационной информации в НКПОР Оператора КС ДЗЗ // V Интернациональная конференция «Космическая съемка — на пике высоких разработок».
  3. Mapelli L. Spanning from Data Acquisition to GRID — Today and a view of tomorrow. // XXIII International Symposium on Nuclear Electronics Computing NEC’2011.
  4. В. В. Кореньков, В. М. Котов, Н. А. Русакович, А. В. Яковлев. Совокупность удаленного доступа настоящего времени (СУДРВ), как композитный сервис распределенной ГРИД-совокупности обработки данных опытов на Громадном Адронном Коллайдере (БАК) // Параллельные вычислительные разработки (ПаВТ’2010): Труды интернациональной научной конференции (Уфа, 29 марта – 2 апреля 2010 г.)
  5. Software Architecture Document (SAD) for the Next ESA SAR Toolbox (NEST) (ARR-NEST-RS07-016); http://www.array.ca/nest/Software_Architecture_Document_v2.0.pdf
  6. В. В. Кореньков, В. М. Котов, Н. А. Русакович, А. В. Яковлев. технология и Модель интеграции online-сервисов опыта ATLAS на Громадном Адронном Коллайдере (БАК) и сервисов ГРИД-инфраструктуры // Параллельные вычислительные разработки (ПаВТ’2011): труды интернациональной научной конференции (Москва, 28 марта – 1 апреля 2011 г.)
  7. ATLAS High-Level Trigger, Data Acquisition and Controls. Technical Design Report (ATLAS TDR-016); http://atlas-proj-hltdaqdcs-tdr.web.cern.ch/atlas-proj-hltdaqdcs-tdr/tdr-v1-r4/PDF/TDR.pdf

ЦЕРН построил новый ускоритель для Большого адронного коллайдера


Интересные записи на сайте:

Подобранные по важим запросам, статьи по теме: