Метод повышения эффективности обработки видеоинформации с использованием GRID-вычислений

Аннотация: В данной статье описан метод видеоинформации с использованием ресурсов локальных вычислительных сетей, в частности GRID-вычислений. Метод также требует повышения эффективности на основе вычисления числа задач в обработке видеоматериала и параметров среды обработки.

Современные вычислительные системы достигли значительных мощностей и способны справляться с разнообразными задачами. Однако особенную остроту приобретает эффективное использование существующих ресурсов, т.к. часто они простаивают. Идея GRID-системы заключается в возможности использования существующих ресурсов (от кластеров до офисных компьютеров) из-под единого интерфейса, но в рамках существующих административных доменов.

Существующие методы представления видеоинформации разработаны с целью обеспечения наиболее компактного способа хранения видеофайлов. Это требование выполняется благодаря внутрикадровому сжатию, в котором применяется дискретно-косинусное преобразование (ДКП), и межкадровому сжатию, в котором применяется предсказание смещения макроблоков между кадрами. Структура видеофайла позволяет реализовать три основных алгоритмических подхода к обработке: параллельная обработка внутрикадрового сжатия (ДКП); параллельная или распределенная покадровая обработка; распределенная обработка независимых групп изображений.

Указанные методы могут быть реализованы с помощью одной из вычислительных архитектур. Среди существующих подходов можно выделить: использование локальных вычислительных машин, специализированных аппаратных плат обработки, ресурсов локальных вычислительных сетей (ЛВС), вычислительных кластеров.

Недостатком существующих методов аппаратной обработки является небольшой набор решаемых ими задач. Методы, основанные на программной обработке видеоинформации, имеют более гибкую структуру. Поэтому для многих задач наиболее приемлемой с точки зрения отношения стоимости обработки к её времени является обработка с использованием ресурсов ЛВС. Однако этой метод ограничен в масштабируемости вычислительной среды, и в нем не решена проблема обеспечения эффективности обработки.

Под эффективностью будем понимать достижение минимального времени обработки видеофайла на основе использования только тех вычислительных узлов, включение которых в обработку позволяет уменьшить ее время.

Применение GRID-вычислений позволяет реализовать концепцию обработки видеоинформации с использованием ресурсов ЛВС, устранив присущие ей недостатки за счет, во-первых, использования большого числа узлов, предоставляемых пользователями GRID-систем; во-вторых, использования существующих средств обеспечения надежности и безопасности обработки. Однако существующие методы обработки данных с использованием GRID-вычислений не имеют механизмов, обеспечивающих эффективность для задачи обработки видеоинформации. Для решения этой задачи предлагается метод, разработанный на основе модели определения времени обработки видеофайла в GRID-среде с заданным объемом доступных ресурсов. Рассмотрим алгоритм предлагаемого метода.

1. Принимаем размер одного задания равным одной группе изображений, закодированных независимо от остальных (Group of pictures (GOP)) и получаем число заданий в одном плане, который представляет собой весь обрабатываемый видеоотрезок, а задание, таким образом, состоит из одного отрезка этого файла.

2. Определяем методом дробления такое число вычислительных узлов, что среднее значение следующих за ним точек не менее этого числа узлов.

3. Заполняем полученное число узлов реально существующими в сети узлами.

4. Определяем методом дробления минимальное число вычислительных узлов для существующих узлов.

5. Определяем методом дробления минимальное число заданий, при этом основным условием является то, что есть такое число, результат операции которого является целым числом.

6. В случае если удалось улучшить получившееся значение, возвращаемся к шагу 4, иначе считаем, что достигнуто минимальное значение.

В результате применения этого метода получаем на выходе значение прогноза времени обработки плана, а также значения числа узлов и числа задач. Исходный видеофайл разбивается на число отрезков, каждый из которых будет представлять собой отдельное задание по обработке.

Полученные характеристики передаются в планировщик GRID-среды как целевой набор ресурсов, который должен быть использован для обработки данной плана.

Для проверки работоспособности предложенного метода проведены эксперименты с использованием разработанного программного комплекса, осуществляющего обработку графической информации, основанную на системе OurGrid. Система OurGrid состоит из трех частей:

· MyGrid — служб отвечающих за управление заданиями;

· Peer — служб, отвечающих за управление ресурсами;

· Gum — служб запуска заданий на вычислительных узлах.

Для обеспечения обработки видеоинформации с использованием GRID-системы Ourgrid реализован программный комплекс, состоящий из двух частей: интерфейсной и вычислительной.

Интерфейсная часть осуществляет ряд функций, необходимых для формирования и запуска пользовательских планов на исполнение. Входными данными этой программы являются видеофайл и задание по обработке. Результатом выполнения плана является обработанный видеофайл. Вычислительная часть передается на вычислительный узел совместно с файлом данных и отвечает за выполнение непосредственно обработки данных.

Проведенные эксперименты позволяют сравнить время обработки видеофайла посредством разработанного метода и базового для данной работы метода SA (Storage Affinity), используемого в системе OurGrid для обработки планов, задания которых содержат значительные объемы данных. Обработка видеоинформации в этом случае предполагает, что каждое задание представляется одной GOP.

Рассмотрим эксперимент, где входными данными являются: JK = 30,..., 360 с; NK = 10 кадров; время обработки одного NK, NKK = 30 мс×10^—2 ; объем данных одного NK, NKV = 0,5 МБ; GN = 9.

На рисунке показаны зависимости времени обработки видеоотрезка от его длины, полученные с помощью метода SA (линия «1 GOP») и разработанного метода (линия «X GOP»). Анализ этих зависимостей позволяет сделать вывод о том, что их характер является линейным. Следовательно, соотношение времени обработки видеофайла методом SA ко времени обработки разработанным методом остается постоянным для видеоотрезков любой длины. Так, для рассмотренного случая достигнуто сокращение времени обработки на 25%. Для остальных экспериментов данное значение варьируется в зависимости от соотношения времени передачи видеоотрезка ко времени его обработки, и колеблется в диапазоне от 0 до 50%.

Таким образом, результаты экспериментов доказывают повышение эффективности обработки видеоинформации за счет сокращения времени ее обработки при сохранении числа узлов, либо его уменьшении.

Список использованных источников

1. Долинина О.Н. Обработка видеоинформации с использованием GRID-вычислений / О.Н. Долинина, А.В. Ермаков // Телематика’2010 : телекоммуникации, веб-технологии, суперкомпьютинг : сб. статей участников Всерос. конкурса научных работ студентов и аспирантов. СПб: СПбГУ ИТМО, 2010. C. 197-203.
2. OurGrid: An Approach to Easily Assemble Grids with Equitable Resource Sharing / N. Andrade, W. Cirne, F. Brasileiro et al. // Proc. 9th JSSPP, June 2003.