Сморкалов А.Ю., Садовин И.А. Система переноса лекций в виртуальный мир vAcademia с использованием возможностей Microsoft Kinect и потоковых процессоров

Аннотация: В данной статье предлагаются методы и архитектура системы переноса «живых» лекций в виртуальный мир vAcademia. Система записывает голос лектора и использует Microsoft Kinect для захвата жестов преподавателя, преобразуя эти данные в анимацию аватара лектора. На основе использования возможностей потоковых процессоров содержимое экрана проектора, который использует преподаватель, переносится непосредственно в виртуальный мир и отображается в совместном графическом рабочем пространстве, а также происходит дополнительный анализ изображения с видеокамеры Kinect для более точного определения положения тела преподавателя. Использование потоковых процессоров позволило эффективно реализовать передачу содержимого экрана проектора на совместое рабочее пространство в виртуальном мире, а также осуществлять распознавание цветных маркеров на теле преподавателя практически без потери производительности. Применение Kinect для захвата лекций (совместно с получением изображения с проектора или интерактивной доски и отображением его на виртуальной доске) могло бы позволить учителям использовать виртуальные миры как мощное средство обучения, находясь в привычной для себя среде обучения. Это и является целью данной работы.

Ключевые слова:

Abstract: the article reviews techniques and architecture of a system for transferring “live” lectures into virtual world vAcademia. The system records lector’s voice and uses Microsoft Kinect for capturing teacher’s gestures transforming this data into lector’s avatar animation. With the performance capabilities of streaming processors the content of the projector’s screen used by teacher is transferred directly to the virtual world and displayed in shared graphical workspace, and the additional analysis of the image from Kinect video camera is performed to more accurately determine the position of the body of the teacher. The stream processors allowed eff ectively implement the projector’s screen transfer to the virtual world shared workspace and also capture and recognize colored makers on the teacher’s body with little or no loss of performance. Using Kinect for lecture capture together with capturing image from the projector or interactive board and displaying it in the virtual world could allow teachers to use virtual worlds as a powerful learning tool while remaining in the familiar learning environment. That is the purpose of this research.

Keywords: