Оптимизированный модуль GRU с глобальным контекстом в визуальной одометрии


Авторы

Корыткин П. Г.

Московский государственный университет имени М.В. Ломоносова, Ленинские горы, 1, Москва, 119991, Россия

e-mail: korytkinpg@my.msu.ru

Аннотация

Применение рекуррентных модулей в нейросетевых архитектурах остаётся необходимым для решения задач, связанных с наборами данных, изменяющихся во времени, для достижения оптимальных результатов по точности. При этом, в случае применения таких модулей в задачах, связанных с компьютерным зрением на беспилотных летательных аппаратах и робототехнических комплексах, необходим больший объём памяти, чем имеющийся из-за того, что изображения требуют большего числа весов и процессорных ресурсов, поэтому остаётся актуальным оптимизация таких модулей для применения в задачах компьютерного зрения реального времени. В работе рассматривается оптимизация свёрточного варианта модуля Gated Recurrent Unit, с сохранением глобального контекста и жёсткой сигмоидой, для экономии числа параметров и вычислительных ресурсов, применительно к задаче визуальной одометрии и архитектуре DROID-SLAM. Дополнительно проверен выигрыш по скорости выполнения при применении жёсткой сигмоиды относительно обычной сигмоиды на процессорах: Ryzen 5500U, Ryzen 5950X и на платформе Google Colab, а также на видеоадаптерах Nvidia RTX 5070 Ti и Nvidia Tesla T4. Также выполнен анализ потребления памяти для сравнения оригинального и модифицированного модуля в различных модификациях. Полученная архитектура с модифицированным рекуррентным модулем Gated Recurrent Unit обучена на наборе данных TartanAir состоящего из синтетических изображений с камеры малого беспилотного летательного аппарата и робототехнических комплексов на 250000 шагах. В силу того, что было снижено потребление памяти, удалось использовать на обучении видеоускоритель с 16 Гб памяти вместо 24 Гб. Платформа для обучения и тестирования состояла из Nvidia RTX 5070 Ti и Ryzen 5950X с 64 Гб RAM 2667 MT/с. Проверка выполнена на наборах EuRoC и TUM содержащих реальные изображения, захваченные с камер малых беспилотных летательных аппаратов. В результате, выполнения работы по оптимизации, удалось достичь снижения времени выполнения до 20% на Nvidia RTX 5070 Ti. Общее число параметров у архитектуры DROID-SLAM снизилось на 27% от исходных 4002565 параметров к 2937093. Число параметров в полученном модуле Gated Recurrent Unit снизилось на ~66% по сравнению с оригинальным GRU в DROID-SLAM, то есть с 1614720 до 549248.

Ключевые слова:

визуальная одометрия; нейронные сети; GRU; оптимизация числа параметров; DROID-SLAM

Список источников

  1. Дорошев А.С., Шеломанов Д.А. Методика подбора гиперпараметров нейросетевой модели в задачах оптической навигации // Труды МАИ. 2025. № 142. URL: https://trudymai.ru/published.php?ID=185106
  2. The $7 trillion data center build-out: How industrials can capture their share // https://www.mckinsey.com/industries/technology-media-and-telecommunications/our-insights/the-7-trill... (дата обращения 24.05.2026)
  3. Global RAM shortage appears set to continue through 2027 // https://www.computerworld.com/article/4161043/the-memory-shortage-appears-set-to-continue-through-20... (дата обращения 24.05.2026)
  4. Data centers will consume 70 percent of memory chips made in 2026 - supply shortfall will cause the chip shortage to spread to other segments // https://www.tomshardware.com/pc-components/ram/data-centers-will-consume-70-percent-of-memory-chips-... (дата обращения 30.05.2026)
  5. Корыткин П.Г. Применение глубоких нейронных сетей в задаче визуальной одометрии // Труды МАИ. 2025. № 145. URL: https://trudymai.ru/published.php?ID=186898 
  6. Sen Wang, Ronald Clark, Hongkai Wen, Niki Trigoni // DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks. 2017 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2017, pp. 2043–50. https://doi.org/10.1109/icra.2017.7989236
  7. Olivier Brochu Dufour and Abolfazl Mohebbi and Sofiane Achiche, An Attention-Based Deep Learning Architecture for Real-Time Monocular Visual Odometry: Applications to GPS-free Drone Navigation, 2024 https://arxiv.org/abs/2404.17745 
  8. Teed, Zachary and Deng, Jia, “DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D Cameras”, Advances in neural information processing systems, 2021.
  9. Tabassum, T.E.; Xu, Z.; Petrunin, I.; Rana, Z.A. Integrating GRU with a Kalman Filter to Enhance Visual Inertial Odometry Performance in Complex Environments. Aerospace 2023, 10, 923. https://doi.org/10.3390/aerospace10110923 
  10. J. C. Heck and F. M. Salem, "Simplified minimal gated unit variations for recurrent neural networks," 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), Boston, MA, USA, 2017, pp. 1593-1596, doi: 10.1109/MWSCAS.2017.8053242.
  11. Moyang Li, Zihan Zhu, Marc Pollefeys, Daniel Barath // DROID-SLAM in the Wild. 2026 https://arxiv.org/abs/2603.19076 
  12. Y. Huang, L. Ji, J. Sun, X. Jiang and H. Liu, "CUEMP: Correspondence Uncertainty Estimation With Motion Priors for Dense Visual Odometry," in IEEE Robotics and Automation Letters, vol. 11, no. 4, pp. 4497-4504, April 2026, doi: 10.1109/LRA.2026.3666386.
  13. Roberto Pellerito, Marco Cannici, Daniel Gehrig, Joris Belhadj, Olivier Dubois-Matra, Massimo Casasco, Davide Scaramuzza, “End-to-end Learned Visual Odometry with Events and Frames”, 2024, https://arxiv.org/abs/2309.09947 
  14. Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark  // KAN: Kolmogorov-Arnold Networks, 2024 https://arxiv.org/abs/2404.19756 
  15. Yesmine Abdennadher, Eleonora Cicciarella, Michele Rossi // Convolutional Spiking-based GRU Cell for Spatio-temporal Data, 2025 IEEE 35th International Workshop on Machine Learning for Signal Processing (MLSP), 2025 http://dx.doi.org/10.1109/MLSP62443.2025.11204318 
  16. Mateos-Ramirez, P.; Gomez-Avila, J.; Villaseñor, C.; Arana-Daniel, N. Visual Odometry in GPS-Denied Zones for Fixed-Wing Unmanned Aerial Vehicle with Reduced Accumulative Error Based on Satellite Imagery. Appl. Sci. 2024, 14, 7420. https://doi.org/10.3390/app14167420 
  17. Albukhari, I.; El-Sayed, A.; Alshibli, M. MINI-DROID-SLAM: Improving Monocular Visual SLAM Using MINI-GRU RNN Network. Sensors 2025, 25, 5448. https://doi.org/10.3390/s25175448
  18. Grupp, Michael. evo: Python package for the evaluation of odometry and SLAM., 2017 https://github.com/MichaelGrupp/evo 
  19. Burri, Michael and Nikolic, Janosch and Gohl, Pascal and Schneider, Thomas and Rehder, Joern and Omari, Sammy and Achtelik, Markus W and Siegwart, Roland // The EuRoC micro aerial vehicle datasets, 2016 https://doi.org/10.1177/0278364915620033 
  20. J. Sturm and N. Engelhard and F. Endres and W. Burgard and D. Cremers // A Benchmark for the Evaluation of RGB-D SLAM Systems, Proc. of the International Conference on Intelligent Robot Systems (IROS) 2012
  21. Reddy, Pavan & Gujral, Aditya. (2025). Improving Neural Network Efficiency Using Piecewise Linear Approximation of Activation Functions. The International FLAIRS Conference Proceedings. 38. 10.32473/flairs.38.1.139005.
  22. Chigozie Nwankpa, Winifred Ijomah, Anthony Gachagan, Stephen Marshall // Activation Functions: Comparison of trends in Practice and Research for Deep Learning 2018, https://arxiv.org/abs/1811.03378 
  23. CUDA C++ Best Practices Guide // https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/  (дата обращения 26.05.2026)
  24. DROID-SLAM Github // https://github.com/princeton-vl/DROID-SLAM (дата обращения 24.05.2026)
  25. Wenshan Wang, Delong Zhu, Xiangwei Wang, Yaoyu Hu, Yuheng Qiu, Chen Wang, Yafei Hu, Ashish Kapoor, Sebastian Scherer // TartanAir: A Dataset to Push the Limits of Visual SLAM, 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020
  26. Geiger, P. Lenz and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2012, pp. 3354-3361, DOI: 10.1109/CVPR.2012.6248074.
  27. W. Maddern, G. Pascoe, C. Linegar and P. Newman, "1 Year, 1000km: The Oxford RobotCar Dataset", The International Journal of Robotics Research (IJRR), 2016.

Скачать статью

mai.ru — информационный портал Московского авиационного института

© МАИ, 2000—2026

 Вход