Моделирование виртуальной среды в технологиях кибервизуализации и виртуального присутствия

Меженин Александр Владимирович кандидат технических наук доцент, кафедра Факультет программной инженерии и компьютерной техники, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики 197101, Россия, г. Санкт-Петербург, ул. Кронверкский Проспект, 49 Mezhenin Aleksandr Vladimirovich PhD in Technical Science Assosiate Professor of the Department of Engineering and Computer Graphics of the St. Petersburg State University of Information Technologies, Mechanics and Optics 197101, Russia, g. Saint Petersburg, ul. Kronverkskii Prospekt, 49 mejenin@mail.ru Другие публикации этого автора     Извозчикова Вера Васильевна кандидат технических наук доцент, кафедра Информатики, Оренбургский государственный университет 460040, Россия, Оренбургская область, г. Оренбург, ул. Проспект Победы, 13 Izvozchikova Vera Vasil'evna PhD in Technical Science Associate Professor, Department of Informatics, Orenburg State University 460040, Russia, Orenburgskaya oblast', g. Orenburg, ul. Prospekt Pobedy, 13 viza-8.11@mail.ru

Бурлов Дмитрий Игоревич ассистент, кафедра Факультет программной инженерии и компьютерной техники, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики 197101, Россия, г. Санкт-Петербург, ул. Кронверкский Проспект, 49 Burlov Dmitrii Igorevich Assistant, Department of Software Engineering and Computer Engineering, St. Petersburg National Research University of Information Technologies, Mechanics and Optics 197101, Russia, g. Saint Petersburg, ul. Kronverkskii Prospekt, 49 burlofff@mail.ru

Работа выполнена при поддержке гранта РФФИ № 17-07-00700 А

Введение

Следующим этапом развития цифровых систем виртуальной реальности и 3D визуализации можно считать реализацию концепций технологии виртуального присутствия и кибервизуализации, рассматривая их как более широкое понятие мультимедийных систем виртуальной реальности и систем телеприсутствия. В работах по данной тематике можно встретить термин «индуцированная виртуальная среда» ^[1]. С точки зрения авторов, термины кибервизуализация и виртуальное присутствие дают более полное представление об объекте исследования в данной области. Области применения предлагаемых технологий: моделирование поведения виртуальных 3D объектов при проектировании ^[2]; управление сложными человеко-машинными системами; дистанционное управление и пилотирование; мониторинг и видеонаблюдение ^{[3, 4]}. Особое значение эти технологии приобретают в областях связанных с высоким риском, где использование оптических и телевизионных средств ограничено или просто невозможно. Комплексная информация, использование технологий виртуального присутствия и кибервизуализации позволят поднять на качественно новый уровень построение интеллектуальных систем безопасности, контроля и предупреждения чрезвычайных ситуаций.

В настоящее время для синтеза виртуальной среды используются различные подходы, среди которых наиболее распространенными являются моделирование в программах компьютерной графики и моделирование средствами фотограмметрии. Кроме этого, разрабатываются нейросетевые системы обработки информации для создания полностью искусственных интерактивных миров на основе видеозаписей реального мира ^[5]. В этих методах, в большинстве случаев, используются полигональные модели, для работы с которыми разработано множество алгоритмов ^[6], и существует аппаратная поддержка геометрических вычислений для ЗD-визуализации. К недостаткам их использования можно отнести большой объем исходных данных, необходимый для сложных 3D-сцен ^[6], трудности представления поверхностей сложной формы ^{[7, 8]} и получение должного ощущения эффекта глубины ^[9]. Эти недостатки становятся существенными при реализации систем реального времени.

Более прогрессивным можно считать метод представления объектов пространства в виде облаков точек различной плотности. Облако точек – это совокупность вершин в трёхмерном пространстве, представляющих поверхность моделируемых объектов. Данные для построения облака точек могут быть получены с помощью сканирования 3D-объектов специальными устройствами, или в результате обработки данных оптического сканирования ^[10]. Для повышения эффективности восприятия облако точек представляют в виде тепловых карт.

Задача построения облака точек трехмерного пространства

Построение облака точек является нетривиальной задачей. Обычно 3D реконструкция осуществляется на основе серии калиброванных изображений ^[11]. В данной работе рассматривается задача построения облака точек трехмерного пространства на основе видеоданных, получаемых в результате съемки одной камерой, движущейся по произвольной траектории. Особо рассматривается проблема неполных данных и вопросы сохранения значимой информации ^[12].

Для построения облака точек трехмерного пространства разработано большое число различных методов ^[13]. Несмотря на это, используемые в них типовые математические подходы оказываются неэффективными в задачах, исходные данные в которых представляют собой набор дискретных точек-вершин в пространстве точечных объектов. Представление данных в таком виде следует либо из самой специфики распределения в пространстве точечных объектов, либо, например, из недостаточности массива данных измерений в точках пространства. В таких случаях обычно для обозначения исходного набора точечных объектов используется специальный термин – облако точек (point cloud). В задаче анализа распределения подобного облака точек в первую очередь интересует вероятность нахождения точек в той или иной области, а вернее плотность их распределения. Такая задача решается обычно с помощью вокселей ^[14]. Однако практическая реализация этого метода требуют значительных вычислительных ресурсов. В случаях сильной разреженности точечных данных в пространстве методы реконструкции с помощью вокселей не позволяют выявить значимую для анализа информацию.

Алгоритмы оценки плотности распределения точек

Прямым подходом к решению задачи восстановления пространственной плотности распределения точек будем называть такой подход, при котором множество точек рассматривается как реализация выборки из одного неизвестного распределения с плотностью , и осуществляется поиск некоторого приближения плотности . Для решения этой задачи используют три алгоритма: непараметрический; параметрический и восстановление смесей распределений ^[15].

Непараметрическое восстановление плотности распределения. Базовым непараметрическим методом восстановления плотности распределения случайной величины принято считать метод Парзена-Розенблатта - ядерная оценка плотности (Kernel Density Estimation, KDE) – алгоритм байесовской классификации, основанный на непараметрическом восстановлении плотности по имеющейся выборке. В основе подхода лежит идея о том, что плотность выше в тех точках, рядом с которыми находится большое количество объектов выборки. Парзеновская оценка плотности имеет вид

где – ширина окна (полосы), а – ядро (произвольная четная, нормированная функция), задающее степень гладкости функции распределения. Термин «окно» происходит из классического вида функции

где – индикаторная функция, однако на практике обычно используются все же более гладкие функции, например, гауссова функция ядра

Ширина окна и вид ядра – структурные параметры метода, от которых зависит качество восстановления. При этом основное влияние на качество восстановления плотности распределения оказывает ширина окна, тогда как вид функции ядра не влияет на качество определяющим образом.

Данный метод широко применяется при машинном обучении для задач классификации в случаях, когда общий вид функции распределения неизвестен, а известны только некоторые свойства, например, гладкость и непрерывность. Для нахождения оптимальной ширины окна обычно используют принцип максимума правдоподобия с исключением объектов по одному -leave-one-out ( LOO).

Параметрическое восстановление плотности распределения. Параметрическое оценивание опирается на семейства функций плотности, которые задаются при помощи одного или нескольких числовых параметров: . Для лучшего выбора функции плотности из данного семейства можно использовать метод максимума правдоподобия

К примеру, для функции многомерного нормального распределения

оценки максимального правдоподобия записываются в явном виде

Параметрические методы восстановления используются в тех случаях, когда вид функции распределения известен с точностью до набора параметров, которые позволяют контролировать гибкость модели.

Восстановление смесей распределений. Третьим прямым подходом к поиску плотности распределения является способ восстановления смесей распределений.

Данный подход можно считать усложнением параметрического для случаев, когда распределение имеет сложный вид, недостаточно точно описывающийся одним распределением.

Плотность распределения в рамках этого подхода представляется в виде смеси, т.е. суммы распределений с определенными коэффициентами

где – плотности распределения компонент смеси, принадлежащие одному параметрическому семейству – ее априорная вероятность, вес – количество компонент в смеси. Функцию называют функцией правдоподобия.

Каждый из рассмотренных выше методов нахождения плотности распределений (непараметрический, параметрический и восстановление смесей распределений) применяется при определенных априорных знаниях о плотности распределения (о виде или свойствах функции). Несмотря на разные области применения этих подходов, можно выделить черты сходства между ними. Так непараметрический метод можно рассматривать как предельный частный случай смеси распределений, в которой каждому соответствует одна компонента с априорной вероятностью и выбранной функцией плотности (ядром) с центром в точке . Параметрический же подход – другой крайний случай смеси, состоящей из одной компоненты.

Таким образом, описанные три подхода отличаются, в первую очередь, количеством аддитивных компонент в модели распределения: . Поэтому, можно считать, что восстановление смеси из произвольного числа компонент является более общим случаем восстановления непрерывной плотности распределения по дискретной выборке.

Апробация

Визуализация распределений. Визуализация распределений требует значительных вычислительных ресурсов. На рис. 1. представлен результат работы интерактивного приложения, разработанного авторами для анализа плотности распределения данных, получаемых из видеопотока. Отдельные компоненты смеси нормальных распределений использованы для визуализации всей смеси распределений. В процессе работы приложения происходит отображение плотности распределения, как всей области данных, так и исследуемой.

Рис. 1. Визуализация и результат анализа плотности распределения

Кроме этого было разработано приложение, в котором было реализовано построение тепловой карты плотности распределения с адаптивной шкалой. Цветовая схема шкалы формируется на основе палитры цветов переходов от синего к красному. Чем цвет ближе к синему, тем различия между первым и вторым изображениями меньше, чем ближе к красному – тем различий больше. Шаг шкалы рассчитывается по следующей формуле

где S – величина шага, a – значение, соответствующее максимальной разнице b – значение, соответствующее минимальной разнице l – количество цветов в шкале.

Каждому цвету шкалы назначается числовое значение, рассчитываемое по формуле

где c – числовое значение на шкале.

Ниже приведены результаты работы данного приложения для оценки эффективности зон покрытия камерами наблюдения ^{[16, 17]}. В данном примере реализованы модели с двумя и тремя камерами наблюдения. На основе результатов оценки плотности распределения построена тепловая карта (рис. 2).

Рис. 2. Тепловая карта результатов сравнения моделей с двумя и тремя камерами наблюдения

Моделирование облака точек. Кроме рассмотренных приложений, была осуществлена практическая реализация алгоритма моделирования облака точек трехмерного пространства на основании видеопоследовательности, полученной камерой движущейся по произвольной траектории.

1. Разложение видео в набор последовательных изображений. Файлы, необходимые для реконструкции получаются из покадрового разложения видеопоследовательности на секвенцию.

2. Выбор на изображениях ключевых точек и их дескрипторов.

3. Путем сравнения дескрипторов находятся соответствующие друг другу ключевые точки на разных изображениях.

4. На основе набора совпавших ключевых точек строится модель преобразования изображений, с помощью которого из одного изображения можно получить другое.

5. Зная модель преобразования камеры и соответствия точек на различных кадрах, вычисляются трёхмерные координаты и строится облако точек.

На рис. 3 представлена схема конвейера моделирования облака точек.

Рис. 3. Общая схема конвейера моделирования облака точек

Практическая реализация предложенного алгоритма проводилась с использование совокупности программно-аппаратных средств. Съемка производилась видеокамерой мобильного телефона Blackberry Priv. Формат видео MOV Full HD 29.97 fps H-264 17 Mbps ^[18]. Файлы, необходимые для построения облака точек трехмерного пространства, были получены из покадрового разложения видеопоследовательности на секвенцию. Для сокращения времени просчета и обработки были использованы каждый третий кадр видеопоследовательности. Обработка производилась в пакете Adobe AE. На рис. 4. представлены кадры исходных видеоданных. Для повышения качества - дефокусировка и смаз ^{[19, 20]} была произведена обработка изображений в системе MATLAB.

Рис. 4. Кадры исходных видеоданных

Для получения стабилизации и определения ключевых точек использовалось программное обеспечение на основе рассмотренных алгоритмов и библиотеки Point Cloud Library ^[21] (рис. 5).

Рис. 5. Этапы построения облака точек с отображением траектории движения камеры

Итоговая визуализация выполнена в пакете Cloud Compare ^[22] (рис. 6).

Рис. 6. Результат анализа плотности распределения точек

Заключение

В статье рассмотрены вопросы моделирования виртуальной среды и представления ее в виде облака точек для различных информационных приложений. Обсуждаются термины кибервизуализация и виртуальное присутствие. Рассматривается математический аппарат, используемый для построения облака точек трехмерного пространства. Приведены примеры апробации разработанных алгоритмов: визуализация и анализ плотности распределения облака точек; построение тепловой карты с адаптивной шкалой; моделирование облака точек трехмерного пространства на основе видеопоследовательности и результаты анализа плотности распределения точек. Исходя из представленных выше материалов, можно сделать вывод, что предложенные концепции являются робастными (актуальными) и подлежат дальнейшей детализации и проработке.