Архитектура генератора трехмерных сцен с группами точечных и малоразмерных объектов

Уржумов Даниил Владимирович программист первой категории, cектор автоматизации образовательной и научной деятельности, центр автоматизированных информационных систем и технологий управления информатизации и электронного обучения, Поволжский государственный технологический университет 424000, Россия, Республика Марий Эл, г. Йошкар-Ола, ул. Советская, 158, каб. 105 Urzhumov Daniil Vladimirovich programmer of the first category, the Sector of Education and Research Activities of Automation, the Center of the Automated Information Systems and Information Management Rechnologies and E-learning, Volga State University of Technology 424000, Russia, respublika Marii El, g. Ioshkar-Ola, ul. Sovetskaya, 158, kab. 105 urzhumovdv@volgatech.net

Кревецкий Александр Владимирович кандидат технических наук Заведующий кафедрой Информатики с ученой степенью кандидата наук и ученым званием "профессор" Поволжского Государственного Технологического Университета 424000, Россия, республика Марий Эл, г. Йошкар-Ола, ул. Панфилова, 17, каб. 525 Krevetsky Aleksandr Vladimirovich PhD in Technical Science Head of the Department of Computer Science with a PhD degree, Professor (scientists title), Volga State University of Technology 424000, Russia, respublika Marii El, g. Ioshkar-Ola, ul. Panfilova, 17, kab. 525 KrevetskyAV@volgatech.net

Методы распознавания изображений объектов часто сводятся к выделению в наблюдаемом изображении множества характерных точек с последующим анализом параметров их групповых признаков ^[1]. Распознавание групповых точечных объектов (ГТО) имеет и самостоятельное значение, например в локации, когда размеры отдельных объектов соизмеримы с элементом разрешения системы ^{[2, 3, 4]}. С развитием техники регистрации и реконструкции 3D изображений вопросы разработки эффективных методов распознавания групповых точечных объектов становятся все более востребованными ^{[1, 3]}. Для синтеза и анализа алгоритмов распознавания ГТО, обоснования выбора того или иного подхода к распознаванию необходимо накопление статического материала в различных условиях наблюдения. В силу высокой стоимости проведения крупных серий натурных экспериментов целесообразно проводить сбор статистической информации на моделях трехмерных сцен. Необходимый элемент такой системы моделирования – это генератор сцен.

Генератор сцен должен формировать реализации математических моделей изображений ГТО, отличающихся параметрами геометрических преобразований, случайными координатными шумами, фоном из ложных отметок импульсными и яркостными шумами, условиями наблюдения. Он должен иметь встроенный редактор эталонных описаний классов распознаваемых ГТО. В работе ^[3] обосновывается набор базовых математических моделей типовых классов групповых точечных объектов в пространствах различной размерности. Существует множество известных программ 3D моделирования, подобных 3ds MAX, Solidworks, Wings3D, Daz Studio, Open SCAD, AutoDesk 123D и др., однако они не поддерживают указанные модели объектов и шумовых искажений, не могут встраиваться в другие программы для автоматизации статистических испытаний.

Цель работы – реализовать структуру генератора трехмерных сцен, ориентированную на изображения из точечных (ТО) и малоразмерных (МРО) (соизмеримых с элементом разрешения) объектов и их групп с возможностью расширения типов моделей и встраивания в метапрограммы.

Существование различных типовых математических моделей групп точечных объектов приводит к необходимости использования различных алгоритмов их генерации. Для обеспечения простоты расширения генератора новыми моделями групп, целесообразно реализовать единый интерфейс алгоритма генерации и требовать реализации новых алгоритмов в точном соответствии с указанной в нем сигнатурой. Подобное решение серьезно затрудняет интеграцию алгоритмов зашумления в процедуры генерации, поскольку единый интерфейс накладывает ограничение на вариативность параметров. Особое значение этот недостаток приобретает при работе с 3D сценами, поскольку процесс их отрисовки проходит в несколько этапов, при этом генерация объектов и зашумления реализуются на одном этапе.

Разрешить данное противоречие можно, инкапсулируя все множество параметров в единственном классе, экземпляры которого будут передаваться между порождающей процедурой и набором классов, отвечающим за взаимодействие с пользователем. Однако полученный класс примет вид избыточной структуры данных, содержащей пустые контейнеры для неиспользованных типов, а также значительное дублирование функционала методов для различных типов данных. Для трехмерной сцены масштаб подобной структуры данных вырастет соответственно вдвое, в силу реализации каждого метода и для двумерной и для трехмерной структуры.

Решение подобного рода проблем основано на использовании шаблонных методов и структур данных, порождающих семейство типов для каждого шаблонного класса или метода. Во время вызова требуемой функции происходит специализация шаблонов требуемым значением. Таким образом, можно унификации класса, осуществляющего хранение параметров, что дает возможность хранить лишь необходимые данные, решая проблему пустых контейнеров. Шаблонные методы при использовании частичной специализации также позволят представить пользователю информацию о процедурах, применяемых при генерации сцены, в структурированном в соответствии с алгоритмом генерации виде. Это особенно удобно поскольку все многообразие типов параметров предстает перед пользователем в виде менее чем десяти различных видов элементов управления.

Предложенное решение подвержено риску потери гибкости с увеличением числа передаваемых параметров. Для нейтрализации подобного риска целесообразно осуществлять генерацию иерархий, основанную на списках типов ^[5].

Поскольку типичная трехмерная сцена должна корректно моделировать множество условий наблюдения, таких как зависимость соотношение размеров изображения ближней и дальней стороны объекта при перспективном проецировании в зависимости от его удаленности и пространственной ориентации, зависимость интенсивности отраженного от объекта света от расположения источников освещения и многое другое, реализация подобных свойств с нуля нецелесообразна. Для реализации базовых свойств модели предполагается использовать библиотеку трехмерной графики OpenGL, реализующую механизм шейдерных функций для расчета освещенности, затенения, оптических свойств материала и многого другого. ^[6].

Существенными недостатками библиотеки OpenGL являются:

• низкий уровень абстракции, вынуждающий реализовывать наборы классов для описания сущностей более сложных, чем точка или ограниченный участок плоскости, называемый полигоном;
• сокрытие механизма матричных преобразований в трехмерном пространстве рядом элементарных функций со множеством параметров, осложняющее модификацию программного кода.

Для компенсации указанных недостатков библиотеки OpenGL предполагается реализовать иерархию классов, в основе которой лежит абстракция, представляющая объект сцены. Этот класс должен содержать набор методов отображения всех точек и полигонов объекта относительно собственной системы координат. Центром такой системы может быть, например центр масс объекта ^[3]. Для размещения и отображения объекта в требуемом месте сцены, его класс должен содержать радиус-вектор от глобального начала координат сцены до локального начала координат объекта. Введение собственной системы отсчета позволит избежать расчета и ввода множества параметров точек для каждого объекта, осуществляя для одинаковых объектов единственный расчет в их локальных координатах.

Для сохранения сцены в виде изображения целесообразно использовать встроенный механизм библиотеки OpenGL. Он позволяет переопределить функцию отрисовки сцены в виде двоичного изображения, перенаправив вывод в файл.

Сохранение объекта в виде аналитического представления происходит аналогично такому представлению для двухмерных объектов локационных изображений ^[3,7,8] в виде вектора радиус-векторов от локального начала координат до вершин поверхности объекта, но уже не на комплексной плоскости, а в трехмерном евклидовом или мнимой части кватернионного пространства. Яркостные характеристики объекта ассоциируются с вершинами средствами библиотеки OpenGL. Отдельно объект хранит шейдерную функцию, осуществляющую интерполяцию значений яркостных характеристик для точек плоскости, ограниченной вершинами.

Для сохранения смоделированного множества сигналов сенсора, можно доопределить шейдерную функцию, таким образом, чтобы при наличии управляющего параметра она осуществляла конвертацию обрабатываемых значений в формат, используемый сенсором, и передавала результат в поток, формирующий буфер данных для записи в результирующий файл. Для повышения производительности шейдерной функции целесообразно использовать различные ее реализации в зависимости от параметра, тем самым переложив проверку параметра на менее требовательный к производительности поток управления.

Рисунок 1 демонстрирует обобщенную диаграмму классов генератора. Код генератора написан на языке С++ c использованием контейнеров Qt. Пользовательский интерфейс генератора не является темой данной статьи, в то время как реализация генератора для 3D сцены будет подробно рассмотрена далее. Таким образом, подробности иерархии классов указанных подсистем на диаграмме замененны символом пакета классов.

Рис. 1. Диаграмма классов генератора сцен с ГТО и МРО

Классы QString и QList – стандартные контейнеры библиотеки Qt, представляющие собой структуры для описания строки и списка строк соответственно, в иерархии они используются для идентификации типов параметров.

Метакласс «T» обозначает шаблонный класс, замещаемый при специализации кода параметрами соответствующего типа.

Класс Scene иллюстрирует итоговое аналитическое представление сгенерированной сцены, для заданного числа измерений. Детальная реализация данного класса приведена на диаграмме описания редактора.

Шаблонный класс ProcessType инкапсулирует процедуры, выполняемые с классами параметров при запросе на их обработку в алгоритме построения сцены.

Класс TList представляет список типов. Он используется для унификации шаблонов с различным числом параметров с целью сохранения гибкости иерархии.

Класс ProcedureData инкапсулирует значение параметров процедуры после их инициализации пользователем.

Класс ProcedureInterface – интерфейс элемента управление, предоставленного пользователю для ввода значений параметров. Он содержит методы для установки допустимого диапазона параметров.

Класс AbstractGenerator – интерфейс порождающей сцену процедуры. Он содержит объявление методов построения сцены, вывода списка процедур, установки параметров и запуска порождающей процедуры, которые будут реализованы множеством его классов-наследников.

Класс GenerateController представляет собой контроллер, осуществляющий связь интерфейсов пользователя и генератора. Он реагирует на команды интерфейса пользователя и вызывает методы класса AbstractGenerator, результаты выполнения которых, передает для отображения пользователю.

Пакет Generator<ProcessType, TList> обозначает множество спецификаций класса AbstractGenerator для различных наборов данных в TList. Они осуществляют специализированную обработку данных, переданных в параметрах списка типов TList и реализуют методы, объявленные в AbstractGenerator.

Пакет UserInterface обозначает множество классов, представляющих элементы пользовательского интерфейса. Данные классы не имеют прямого взаимодействия с иерархией, реализующей решение поставленной задачи. Сигналы о запросах и изменении состояний элементов пользовательского интерфейса обрабатываются классом GenerateController.

Диаграмма классов на рис. 2 иллюстрирует архитектуру редактора эталонных групп точечных и малоразмерных объектов.

Рис. 2. Диаграмма классов, описывающая структуру редактора эталонов

Использование шаблона позволяет применять различные типы данных при описании матриц и векторов и осуществлять быстрое преобразование типов на стадии компиляции.

Класс MDSquareMatrix описывает квадратную матрицу задаваемой размерности и типа данных ее элементов. Класс представляет возможности получения элементов по индексам, а также умножения матрицы на число, другую матрицу либо вектор соответствующей размерности.

Класс MDVector описывает вектор задаваемой размерности и типа данных его элементов. Класс предоставляет возможности получения элементов по индексам, построение нормалей в заданной плоскости по и против часовой стрелки, проверки параллельности и ортогональности с другим вектором.

Задаваемая размерность классов матрицы и вектора реализована для удобства перехода от трехмерных пространственных координат к двумерным координатам шейдерных функций на плоскости.

Класс Object реализует объект, расположенный на сцене. Он принимает в качестве параметров своего конструктора радиус-вектор от глобального начала координат к его локальному началу координат, а также функцию отрисовки. Класс предоставляет функционал отрисовки на заданной сцене, а также построения своего аналитического представления на основе полученных из функции отрисовки вершин. Подобная реализация класса позволяет получить аналитическое представление в случае, если форма объекта задана загружаемой трехмерной моделью, созданной в стороннем редакторе.

Класс Scene реализует трехмерную сцену, позволяющую добавлять и отображать объекты, сохранять снимок сцены в виде двумерного изображения, либо аналитическом формате, загружать аналитическое представление сцены.

Переменная размерность классов Object и Scene реализована для совместимости с аналогичными двумерными объектами комплекса Observer 1.0 ^{[9, 10]}, генератора локационных сцен с группами малоразмерных объектов ^{[7, 8]}, что в дальнейшем позволит упростить процедуру верификации сцены методами обработки и анализа локационных изображений.

Класс OGLWidget является классом внутреннего представления OpenGL сцены, он содержит реализации методов позиционирования объектов, освещения сцены, расположения теней и итоговой отрисовки, переопределенные для реализации требований по сохранению данных, предъявленных к приложению.

Класс Scene представляет реализацию поведения трехмерной сцены методами, описанными в классе OGLWidget. Класс наследует классы Scene и OGLWidget, реализует и специализирует их методы.

На рис. 3 приведены примеры визуализации разных ракурсов 3D ГТО в виде астрономических объектов небесной сферы и точек поверхности манекена, полученные с помощью описанного редактора эталонных объектов.

Рис. 3. Примеры визуализации ГТО

Спроектирована архитектура генератора наблюдаемых трехмерных сцен с групповыми точечными и малоразмерными объектами типовых моделей с возможностью расширения типов. Генератор позволяет формировать эталонные изображения указанных типов объектов, размещать их произвольным образом в сцене с соответствующими геометрическими преобразованиями, вносить случайные искажения, выполнять визуализацию сцены в различных ракурсах и представляющих интерес проекциях.

Описанные в работе архитектурные решения позволяют преодолеть проблемные ситуации, возникающие при проектировании генератора сцен с настраиваемыми параметрами зашумления. Применение связной иерархия классов позволяет избежать жестко структурированных наборов данных, обеспечив удобство расширения кода генератора новыми моделями групповых объектов, а также сократить расходы памяти на хранение пустых контейнеров.

Использование иерархии, основанной на списках типов, позволяет предоставить проектировщику моделей наблюдаемых локационных изображений и разработчику процедур генерации сцен широкий набор готовых конструктивных элементов для снижения трудоемкости проектирования и предотвращения ошибок на этапе компиляции.

Встроенный редактор позволяет: автоматизировать элементарные операции добавления удаления, а также варьирования параметров объектов и сцены; оперировать с объектами, а не атрибутами и таким образом скрыть элементарные операции, производимые при изменении параметров объектов, за интуитивно понятными операциями над объектом; сохранять данные об объектах в аналитическом и графическом виде.

За счет использования в качестве прототипа созданного авторами ранее двумерного генератора локационных изображений с групповыми объектами достигнута компактность программного кода генератора трехмерных сцен и встраиваемость в программный комплекс статистических испытаний алгоритмов распознавания групповых точечных и малоразмерных объектов.

Использование инструментария Qt при разработке генератора добавляет ему еще одно полезное качество – кроссплатформенность.

Работа выполнена при финансовой поддержке РФФИ, проект № 16-01-00451