Системы services engine на платформах envi и idl: достижение максимальной эффективности*

      Комментарии к записи Системы services engine на платформах envi и idl: достижение максимальной эффективности* отключены

Системы services engine на платформах envi и idl: достижение максимальной эффективности*

ВВЕДЕНИЕ

Вот уже 30 лет компания Exelis — Visual Information Solutions (VIS) предлагает высококлассные средства анализа научных данных и ответов для исследователей, предпринимателей и аналитиков на платформах IDL и ENVI. разработка и Поддержка платформ ENVI и IDL осуществляется с целью удовлетворения потребностей широкого круга пользователей с позиций аналитических и системных возможностей.

По мере того как пользователи разворачивают деятельность в корпоративных сетях и в облачных средах, совокупность Services Engine обрабатывает и разбирает научные эти по запросу и в режиме онлайн на платформах ENVI и IDL в режиме RESTful-сетевых сервисов. Services Engine представляет собой агностическую совокупность среднего слоя; совокупность соответствует стандартам открытости, поддерживает многопользовательский режим (в сети, вход с мобильных устройств, с настольного компьютера), всецело настраивается.

Как и в произвольных больших проектах корпоративных сетей, облачных сред либо кластеров, приоритеты в части возможностей и преимуществ по производительности задаются любой раз по-различному, на них смогут воздействовать архитектурные ответы. В данной статье обрисованы показатели производительности, каковые достигаются совокупностью Services Engine на платформах ENVI и IDL, пути успехи больших показателей, и факторы, ограничивающие эффективность.

 Неприятность

состав и Объём текущих задач в сфере обработки научных и промышленных данных так велик, что на практике тяжело обработать все эти сведенья кроме того на самых современных настольных компьютерах. Применение же известных суперкомпьютеров довольно часто затруднительно из-за особенностей и стоимости выделения ресурсов. Использование в облачных средах и корпоративных сетях, но, разрешает пользователям взять большие вычислительные ресурсы на существующих группах настольных компьютеров, в объединенных совокупностях, или в тучах PAYGO и кластерах, таких как, к примеру, Amazon Web Services.

Исполнение широкомасштабных аналитических проектов и ответ задач – это более сложное дело, чем запуск простого кода программы в один момент на нескольких компьютерах. Нужно учитывать управление рекомбинацией и разбиением параллельных задач, управление ресурсами, порядок доступа и хранения к данным в сети без необязательного копирования / перемещения информации. Большая польза от исполнения аналитических задач в корпоративных либо облачных совокупностях достигается за счет структуризации самих данных и аналитических процедур так, дабы добиться преимущества перед несложным разделением задач для многих сотрудников.

СТАНДАРТЫ ДЛЯ СОВОКУПНОСТИ SERVICES ENGINE НА ПЛАТФОРМАХ IDL И ENVI

Компания Exelis VIS делает три тестовых программы, задающие ориентир по максимизации пользы за счет применения совокупности Services Engine. В совокупности Services Engine употребляется концепция Рабочего узла и Главного узла. В компьютерах возможно какое количество угодно рабочих узлов, что разрешает оптимизировать конфигурацию в зависимости о ядер и числа процессоров, и типа делаемых задач.

Один Основной узел снабжает распределение и управление для задач и рабочих узлов.

СЦЕНАРИИ ТЕСТИРОВАНИЯ

 Задачи

На протяжении тестирования реализуются три разные задачи, соответствующие трем фактическим случаям:

Без процесса и без интенсивного применения диска:

  • Задача — управление сетью.
  • Выбранная задача: сложение двух чисел.
  • Входные эти: два числа.

Файл, ввод/вывод, интенсивно:

  • Задача — «узкое место» диска.
  • Выбранная задача: умножение/сдвиг.
  • Входные эти: пространственная замена ([0,4409,0,3522]) из комплекта данных WorldView-2.

Задача и Интенсивная:

  • загрузка — высокая нагрузка на процессор.
  • Выбранная задача: FFT (БПФ).
  • Входные эти: пространственная замена ([0,4409,0,3522]) из комплекта данных WorldView-2.

Эти

 Входные эти являются хранимый на месте панхроматический комплект объектов WorldView-2 в формате TIFF, 052310279180_01_P001_MUL\10JAN19161609-M1BS-052310279180_01_P001.TIF

  • Размеры: 8820 x 7046 x 8 [BSQ]
  • Тип данных: Байт
  • Размер: 499573534 байт
  • Тип продукта: базисный 1B
  • Проекция: *RPC* WorldView-2 Географическая широта/долгота
    • Эти: WGS-84
    • Пиксели: 0,000023 x 0,000022 градуса

     Аппаратные средства:

     Основной узел ЦПУ

    • Процессор AMD Opteron 6174
    • 12 ядер x 4 разъема = 48 ядер на 2,2 ГГц
    • RAM 128 Гб

    Рабочий узел

    • Процессор Intel Xeon E5-2670
    • 8 ядер x 4 = 32 ядра на 2,6 ГГц
    • RAM 256 Гб

    ТЕСТОВАЯ ЗАДАЧА НОМЕР ОДИН

    При любых приложениях главного/рабочего типа принципиально важно, дабы управление — т.е. установление очередности, выполнение и диспетчерский контроль разных операций — не приводило к замедлению ответа главной задачи. Первый пример говорит о том, что IDL и ENVI совокупности Services Engine не увеличивают издержек на управление по мере повышения числа делаемых задач.

    В первом тесте употреблялся один Основной узел и один Рабочий узел, настроенный на работу с 4 сотрудниками. Загружалось 16, 64 и 192 задачи (сотрудники * 4, сотрудники * 16 и сотрудники * 48), по мере исполнения задач фиксировалось соответствующее время. Результаты, отображаемые на рис.

    1, говорят о том, что повышение числа задач не меняет времени, затрачиваемого на отдельные задачи, т.е. наклон кривой фактически отсутствует.

    Рис. 1. Среднее затрачиваемое время на задание для теста номер один. Вычислено как сумма времен, затрачиваемых на отдельные задачи, поделенная на полное число задач

    ТЕСТОВАЯ ЗАДАЧА НОМЕР ДВА

    Для Рабочего и Главного узлов, снабженных многими ЦПУ со многими ядрами, нужно знать количество сотрудников, выделяемое на один узел. Ядра смогут рассматриваться как свободные, но они дробят память, пространство твёрдого диска и коммуникационные ресурсы. Не смотря на то, что каждое ядро, в принципе, может заниматься одним работником, наилучшие показатели достигаются, в случае если для узла назначено предельное количество сотрудников, исключающее борьбу за ресурсы.

    Употреблялись те же аппаратные средства, задачи и эти, как и в первом тесте, но при числе сотрудников на рабочий узел от 2 до 4–8, и числе задач, изменяющихся от 8 до 16–32 (число сотрудников * 4).

    Для задачи сложения чисел, среднее затрачиваемое время на одну задачу не изменяется при повышении числа сотрудников. Действенное время на задачу (полное затраченное время, дроблённое на число задач) легко уменьшается по мере повышения числа сотрудников. Процессы, запущенные сотрудниками, не борются за ресурсы.

    Но при исполнении операции умножения/сдвига среднее затрачиваемое время на задачу заметно возрастает с повышением числа сотрудников (рис. 2). Сотрудники начинают соперничать в борьбе за сетевые и дисковые ресурсы, каковые характеризуются большими скоростями передачи, независимо от приоритетов в управлении либо установления очередности. Указанные ограничения воздействуют на затрачиваемое сотрудниками время исполнения задач, потому, что сотрудники ожидают очереди в доступе.

    Сотрудники соперничают в борьбе за время, выделенное ЦПУ, в меньшей степени, чем за право доступа к диску. Принципиально важно иметь в виду, что действенное время на задачу (полное затраченное время, поделенное на количество задач) уменьшается по мере повышения числа сотрудников (рис. 3).

    Борьба за сетевые и дисковые ресурсы есть главным причиной, ограничивающим скорость исполнения операций умножение/сдвиг.

    Рис. 2. Среднее затрачиваемое время на задание для теста номер два. Вычислено как сумма времен, затрачиваемых на отдельные задачи, поделенная на полное число задач

    Рис. 3. Среднее затрачиваемое время на задание. Вычислено как время, затрачиваемое на серию заданий, поделенное на полное число задач.

    Для решения задачи FFT (БПФ), среднее затрачиваемое время на задачу, в соответствии с рис. 2, возрастает с повышением число сотрудников, но не в таковой степени, как для задачи умножения/сдвига. Сотрудники борются за доступ к диску, ЦПУ и RAM, но не до точки перегрузки памяти. Действенное время, затрачиваемое на задачу (полное затраченное время, поделенное на число задач), существенно уменьшается с возрастанием числа сотрудников (рис.

    6). В отдельных задачах происходит борьба за доступ к диску, но времена, затрачиваемые на операции в ЦП, значительно превышают задержки из-за конкуренции. Понижение требований к диску, вместе с собственным планировщиком OS, разрешает делать каждое задание по FFT (БПФ) независимо и поэтапно, что повышает пропускную свойство совокупности.

    Наилучшее соотношение числа сотрудников к числу автомобилей либо ядер для задач каждого типа зависит по большей части от представления задания и пользовательского сценария (одиночные задания либо группы). Число сотрудников воздействует как на среднее время, затрачиваемое на задачу, так и полное затрачиваемое время на серию задач. Любая задача может выполняться стремительнее при меньшем количестве сотрудников.

    Это особенно правильно в том случае, если запущенные задачи борются за ресурсы.

    Одновременно с этим серии задач (полный поток) выполняются стремительнее, в случае если сотрудников больше, впредь до точки перегрузки. Личный планировщик ОС и изменяющиеся требования к задаче разрешают нескольким задачам выполняться в один момент, без обоюдного влияния. В этом случае отдельная задача может выполняться продолжительнее, но пропускная свойство совокупности практически возрастает.

    Это видно из рис. 2, на котором время, выделенное на отдельные задачи, возрастает с повышением числа сотрудников, но серии задач выполняются стремительнее с повышением числа сотрудников, в соответствии с Рисунку 3.

    Неэффективность отмечается, в случае если дефицит ресурсов не преодолевается собственным планировщиком ОС и совокупностью распределения. На рис. 4 продемонстрирован этот сценарий так, как он реализуется на тестовом кластере Exelis VIS. Оптимальная пропускная свойство достигается в нижней точке линии, соответствующей 4 сотрудникам на кластере.

    В случае если сотрудников не 4, исполнение задачи FFT (БПФ) значительно замедляется, потому, что задачи, борющиеся за выделение RAM, и ОС в целом вынуждены сбрасывать эти на диск через совокупность виртуальной памяти (перегрузка).

    Рис. 4. Среднее затрачиваемое время на задание для теста номер три. Вычислено как сумма времен, затрачиваемых на отдельные задачи, поделенная на полное число задач

    ТЕСТОВАЯ ЗАДАЧА НОМЕР ТРИ

    В последнем тесте употребляются те же основной узел, задачи и эти, что и в первых двух, но с 4 сотрудниками на один рабочий узел и с трансформацией числа рабочих узлов от 1 до 4. Число задач изменялось от 8 до 16 и 32 (число сотрудников *4 * число узлов). Данный тест показывает, как время исполнения совокупностями Services Engine IDL и ENVI задач изменяется с трансформацией размера кластера.

    Как продемонстрировано на рис. 4, среднее затрачиваемое время на каждую задачу сохраняется по мере повышения числа узлов.

    На рис. 5 продемонстрировано полное затрачиваемое на задачу время, приведенное на один узел. Маленький хороший уклон, в особенности — по операции сложения, соответствует управлению Главного узла.

    Данный маленький уклон говорит о том, что операции совокупности Services Engine ENVI и IDL действенно масштабируются по мере добавления узлов.

    Рис. 5. Полное затрачиваемое время для теста номер три. Вычислено как время на исполнение серии задач.

    Наконец, на рис. 6 продемонстрировано действенное время, затрачиваемое на задачи, которое уменьшается по мере добавления узлов в кластер, подобно итогам, приводимым для теста номер два. Это — нехороший сценарий, потому, что все задачи создают чтение и запись в неспециализированные территории / файлы диска, и он в высшей степени нехарактерен для текущей версии приложения.

    Рис. 6. Действенное затрачиваемое время на задание для теста номер три. Вычислено как время на исполнение серии задач, поделенное на полное число задач

    ВЫВОДЫ: МАКСИМИЗАЦИЯ ПРОИЗВОДИТЕЛЬНОСТИ IDL И ENVI СОВОКУПНОСТИ SERVICES ENGINE

    Большая производительность совокупности Service Engine зависит от соответствия конфигурации типам совокупности обработки. Потому, что эта совокупность как высокопроизводительна, так и масштабируема, Services Engine снабжает большую загрузку вашей совокупности. Качественная разработка совокупности гарантирует то, что ни один из компонентов не имеет возможности нарушить функционирование совокупности в целом.

    • в случае если задача, по сути, вычислительная (к примеру, БПФ по изображению), и оптимизация доступа к данным и ввода/вывода не есть значительной проблемой, то не так уж принципиально важно, сколько сотрудников подключено к кластеру;
    • в случае если совокупность Services Engine употребляется в стандартной настройке кластера, направляться применять улучшенные режимы доступа при более чем 8 сотрудниках, создающих операции ввода/вывода в интенсивном режиме;
    • твердотельные драйверы, совокупности NAS и оптимизированные массивы RAID оказывают помощь ускорить интенсивные операции ввода / вывода так, как быть может, в случае если совокупность Services Engines настроена более чем на 8 сотрудников;
    • в случае если совокупность настроена на работу с Services Engine, нужно убедиться в том, что на каждом узле хватает памяти для удовлетворения требований по задачам, требующим громадных ресурсов памяти, с учетом числа сотрудников на каждом узле.

    Совокупность Services Engine на платформах IDL и ENVI является мостом «» между разработкой прототипа для настольного компьютера и дешёвыми высокопроизводительными вычислениями в облачных средах. Совокупность Services Engine возможно сконфигурировать в соответствии с потребностями пользователя так, дабы добиться эффективности и максимальной производительности.

    * Статья предоставлена компанией Exelis VIS. Перевод с английского языка

    Расширяем круг Галереи Творцов-Созидателей из числа сотрудников М. видео


    Интересные записи на сайте:

    Подобранные по важим запросам, статьи по теме: