Технология формирования панорамных разноспектральных видеоизображений для обзорных авиационных оптико-электронных систем

Математическое моделирование, численные методы и комплексы программ


Авторы

Кудинов И. А.*, Холопов И. С.**, Храмов М. Ю.*

АО «Государственный Рязанский приборный завод», ул. Семинарская, 32; Рязань, 390000, Россия

*e-mail: hunter@grpz.ryazan.ru
**e-mail: kholopov.i.s@rsreu.ru

Аннотация

Рассмотрена технология формирования видеоизображения для области интереса пилота (оператора БПЛА) по информации от распределенных разноспектральных камер авиационной панорамной оптико-электронной системы. Приведен алгоритм формирования панорамного изображения по результатам предварительной фотограмметрической калибровки камер по специальному тест-объекту, робастный к условиям съёмки. Показано, что распараллеливание вычислений с применением технологии CUDA позволяет реализовать функции улучшения видения, в том числе с комплексированием информации от разноспектральных сенсоров, для двух независимо управляемых областей интереса размером от 1024´768 пикселей с частотой не менее 30 Гц. Приведены результаты полунатурных экспериментов по отображению видеоинформации в области интереса в соответствии с концепцией «прозрачной кабины».

Ключевые слова

сферическая панорама, область интереса, комплексирование изображений, блендинг, технология CUDA

Библиографический список

  1. Бельский А., Жосан Н., Брондз Д., Горбачев К., Гребенщиков В., Каргаев А. Круглосуточная панорамная система технического зрения для вертолетов // Фотоника. 2013. Т. 38. № 2. С. 80 – 86.

  2. AN/AAQ-37 Distributed Aperture System (DAS) for the F-35, available at: http://www.northropgrumman.com/Capabilities/ANAAQ37F35/Pages/default.aspx

  3. IronVisionTM, available at: http://elbitsystems.com/media/IronVision.pdf

  4. Князь В.В., Бусурин В.И. Автоматическое обнаружение препятствий на взлётно-посадочной полосе средствами технического зрения // Труды МАИ. 2015. №. 81. URL: http://trudymai.ru/published.php?ID=57706

  5. Костяшкин Л.Н. Никифоров М.Б. Обработка изображений в авиационных системах технического зрения. – М.: Физматлит, 2016. – 234 c.

  6. Бондаренко А., Бондаренко М. Аппаратно-программная реализация мультиспектральной системы улучшенного видения // Современная электроника. 2017. № 1. С. 32 – 37.

  7. Ikeda S., Sato T., Yokoya N. A calibration method for an omnidirectional multi-camera system // Proc. SPIE Electronic Imaging, 2003, vol. 5006, pp. 499 – 507.

  8. Горбулин В.И., Ходор М.А. Методика распределения полей зрения средств наблюдения в зоне ответственности // Труды МАИ. 2018. № 100. URL: http://trudymai.ru/published.php?ID=93426

  9. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge, Cambridge University Press, 2003, 656 р.

  10. Brown M., Lowe D. Automatic Panoramic Image Stitching using Invariant Features // International Journal of Computer Vision, 2007, vol. 74(1), pp. 59 – 73.

  11. Геворков С.Ю., Ильичев О.А., Иванченко Д.Л., Павлюченков А.В. Способ автоматизированного создания трехмерных систем городских панорам на основе данных лазерного сканирования. Патент 2601165 РФ. Бюлл. № 25, 10.09.16.

  12. Szeliski R. Image alignment and stitching: a tutorial // Foundations and trends in computer graphics and vision, 2006, vol. 2(1), pp. 1 – 104.

  13. Кудинов И.А., Павлов О.В., Холопов И.С., Храмов М.Ю. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA // III Международная конференция и молодежная школа «Информационные технологии и нанотехнологии». Сборник трудов. (Самара, 25-27 апреля 2017). – Самара: Изд-во «Новая техника», 2017. С. 1580 – 1586.

  14. Мишин А.Ю., Кирюшин Е.Ю., Обухов А.И., Гурлов Д.В. Малогабаритная бесплатформенная инерциальная система на микромеханических датчиках // Труды МАИ. 2013. № 70. URL: http://trudymai.ru/published.php?ID=44533

  15. Челноков Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения.  – М.: ФИЗМАТЛИТ, 2006. – 512 с.

  16. Brown D.C. Close-Range Camera Calibration // Photogrammetric Engineering, 1971, vol. 37(8), pp. 855 – 866.

  17. Burt P., Adelson E. A Multiresolution Spline with Application to Image Mosaics // ACM Transactions on Graphics, 1983, vol. 2(4), pp. 217 – 236.

  18. Кудинов И.А., Павлов О.В., Холопов И.С., Храмов М.Ю. Формирование видеопанорамы по информации от разноспектральных камер // IV Международная конференция и молодежная школа «Информационные технологии и нанотехнологии». Сборник трудов. (Самара, 24-27 апреля 2018). – Самара: Изд-во «Новая техника», 2018. С. 568 – 575.

  19. Sanders J., Kandrot E. CUDA by Example, New York, Addison-Wesley, 2010, 290 p.

  20. Zhang Z. A Flexible New Technique for Camera Calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, vol. 22(11), pp. 1330 – 1334.

  21. St-Laurent L., Mikhnevich M., Bubel A., Prevost D. Passive Calibration Board for Alignment of VIS-NIR, SWIR and LWIR Images // Quantitative InfraRed Thermography Journal, 2017, vol. 14(2), pp. 193 – 205.

  22. Кудинов И.А., Павлов О.В., Холопов И.С. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения. Патент 2672466 РФ. Бюлл. № 32, 14.11.2018.

  23. Костяшкин Л.Н., Павлов О.В. Нашлемные системы целеуказания и индикации для самолетов и вертолетов // Обозрение армии и флота. 2015. № 2. С. 64 – 66.

  24. Костяшкин Л.Н., Павлов О.В., Тpофимов Д.В. Проблемные аспекты разработки нашлемных систем целеуказания и индикации для вертолетов // Мехатроника, автоматизация, управление. 2009. № 3. С. 57 – 63.

  25. Jobson D.J., Rahman Z., Woodell G.A. A Multiscale Retinex for Bridging the Gap between Color Images and the Human Observation of Scenes // IEEE Trans. on Image Processing, 1997, vol. 6(7), pp. 965 – 976.

  26. MATLAB Jet Array, available at: https://www.mathworks.com/help/matlab/ref/jet.html

  27. Moreland K. Diverging Color Maps for Scientific Visualization (Expanded) // Proc. of 5th International Symposium of Advances in Visual Computing (ISVC-2009). Part II. Las Vegas, 2009, pp. 92 – 103.

  28. Li G., Xu S., Zhao X. Fast color-transfer-based image fusion method for merging infrared and visible images // Proc. of the SPIE, 2010, vol. 7710, pp. 77100S.

  29. Макет видеопанорамы из 5 камер и тепловизора, available at: https://www.youtube.com/watch?v=HHdj0JcKpI8


Скачать статью

mai.ru — информационный портал Московского авиационного института

© МАИ, 2000—2024

 Вход