Аннотация: Предметом исследования являются методы совмещения сенсорной и синтезированной видеоинформации применительно к авиационным системам комбинированного видения. Применение таких систем позволит производить управление пилотируемыми и беспилотными летательными аппаратами в условиях недостаточной видимости за счёт объединения видеоинформации от бортовых видеокамер с видеоинформацией, синтезированной по априорно заданной виртуальной модели местности. При этом бортовая навигационная система, измеряющая положение и ориентацию летательного аппарата, имеет погрешности, из-за которых ракурс синтезированного по виртуальной модели местности изображения не соответствует ракурсу съёмки бортовыми видеокамерами, поэтому необходима процедура совмещения сенсорного и синтезированного изображений. Исследование проводилось с помощью математического и компьютерного моделирования системы комбинированного видения с использованием синтезированных и реальных изображений подстилающей поверхности. Новизна полученных результатов заключается в универсальности разработанного алгоритма совмещения, т. е. в возможности совмещения видеоизображений с произвольным сюжетным содержанием, в сочетании с возможностью его практической реализации и высоким качеством совмещения.
Разработанный алгоритм совмещения сенсорных и синтезированных изображений на основе топологической привязки и фильтрации по Калману обеспечивает достаточно точное и надёжное совмещение, удовлетворяющее минимальным требованиям для авиационных систем комбинированного видения, универсален и не требователен к сюжетному содержанию изображений, имеет низкую вычислительную сложность и может быть реализован на аппаратно-программной базе современной авионики.
При проверке алгоритма использовались точностные характеристики на уровне бытовых навигационных приборов, которые существенно уступают по точности современным авиационным навигационным системам, что говорит о возможности его использования в недорогих и компактных пользовательских системах, а также в мобильных роботах.

Abstract: The subjects of the research are techniques for combining sensory and synthesized video information in appliance to the aviation system of combined vision. The use of such systems allows controlling manned and unmanned aerial vehicles under conditions of low visibility by combining video information from on-board camera with video data synthesized by a priori given virtual model of a terrain. It is known that on-board navigation system measuring the position and orientation of the aircraft has accuracy errors because of which the angle of the synthesized image on a virtual model of the area does not match the foreshortening of shooting onboard cameras. This is why a procedure for combining sensory and synthesized video information in the aviation system of combined vision is needed. The study was conducted with the use of mathematical and computer modeling of combined vision systems using both synthesized and real images of an underlying terrain. The novelty of these results lies in the universality of the developed algorithm. This algorithm allows combining video content with an arbitrary data along with the possibility of its practical implementation and high quality combining. Developed algorithm for combining sensory and synthesized video information on the basis of typological binding and Kalman filtering provides a sufficiently precise and reliable combining that meets the minimum requirements for the aircraft systems combined vision. The algorithm is universal, has low demands to the scene recorded images, has low computational complexity and can be implemented in hardware and software based on modern avionics. When testing the algorithm the authors used precision characteristics at the level of consumer navigation devices which significantly inferior in accuracy compared to modern air navigation systems. This indicates the possibility of using the algorithm in inexpensive and compact user systems, as well as in mobile robots.

Аннотация: Предметом исследования являются алгоритмы оценки информативности комбинированных изображений. Такие изображения формируются мультиспектральными системами технического зрения, в частности мультиспектральными авиационными системами улучшенного видения, позволяющими отображать внешнее пространство для пилотов вне зависимости от погодных и суточных условий, повышая эксплуатационные возможности воздушных судов. В таких системах информация от датчиков различной физической природы объединяется (комплексируется) в общее комбинированное изображение, которое должно содержать существенные информационные признаки от всех комбинируемых видеоканалов. Исследование проводилось с помощью компьютерного моделирования комплексирования изображений в двух зональной телевизионно-тепловизионной системе усиленного видения с использованием реальных изображений от видеодатчиков. Предложена новая структурно-семантическая количественная оценка информативности комбинированных изображений, основанная на мере сохранения (искажения) различительной информации от их составляющих по спектрально-энергетическим и пространственным признакам. На основании введённой оценки информативности проведено сравнение известных способов комплексирования изображений для двухзональной системы улучшенного видения. Показано, что традиционные статистические подходы к оценке информативности менее согласованы с визуальным восприятием изображений.

Abstract: The subject of the research is the algorithms for evaluating the information value of composite images. Composite images are formed by multispectral vision systems including multispectral enhanced vision systems used in aviation. These systems show the external space for pilots even in bad weather conditions or late at night, thus increasing operational capacities of aerial vehicles. These systems combine information incoming from physically different sensors into one composite image that is supposed to have essential information features coming from all combined video channels. The research is b ased on the computer modeling of image combination in the two-zone TV-thermal enhanced vision system using the actual images made by the visual sensors. The authors offer a new structural-semantic qualitative evaluation of the information value of composite images based on the preservation (distortion) of various information depending on their spectral energy and space characteristics. Based on the aforesaid method of evaluating the information value, the authors compare different methods of combination of images for the two-zone enhanced vision systems.