Интерфейсы нового поколения для пилотов: интеграция систем слежения за взглядом, жестами и голосовым управлением

Авторы

Писарев И. А., Радченко П. С., Иосифов П. А.^*, Куликов С. П.

Московский авиационный институт (национальный исследовательский университет), 125993, г. Москва, Волоколамское шоссе, д. 4

*e-mail: iosifovpa@mai.ru

Аннотация

Рассмотрены современные подходы к проектированию мультимодальных интерфейсов пилотирования, интегрирующих слежение за направлением взгляда, распознавание жестов и голосовое управление. Показано, что использование синергетического взаимодействия модальностей обеспечивает повышение эффективности операторской деятельности и снижение когнитивной нагрузки. Предложена структурная модель взаимодействия человека и интерфейса нового поколения, а также оценены перспективы применения данных технологий в адаптивных эргатических системах управления воздушными судами.

Ключевые слова:

мультимодальные интерфейсы; пилотирование; слежение за взглядом; голосовое управление; жесты; эргономика; когнитивная нагрузка

Список источников

1. Пальмов С.В., Кашапова Д.Р. Интеллектуальные интерфейсы голосового управления в сложных информационных системах авионики // Авиационно-космическая техника и технологии. 2025. № 4. С. 209–216. DOI 10.47576/2949-1894.2025.4.4.028.

2. Галишников Ю.А. Проблемы эргономики кабины пилота воздушного судна гражданской авиации // Неделя науки СПбПУ: материалы научной конференции с международным участием, 18–23 ноября 2019 г. Инженерно-строительный институт. В 3 ч. СПб.: Политех-пресс, 2020. Ч. 3. С. 256–258. URL: https://elibrary.ru/item.asp?id=42514050.

3. Дворников М.В., Богомолов А.В., Кучевский С.В. Метод автоматизированного контроля состояния лётчика в полёте // Извести ТулГу. Технические науки. 2025. Вып. 2. С. 458–465. URL: https://cyberleninka.ru/article/n/metod-avtomatizirovannogo-kontrolya-sostoyaniya-letchika-v-polete

4. Wickens C. D. Multiple resources and performance prediction // Theoretical Issues in Ergonomics Science. 2002. Vol. 3, no. 2. P. 159–177. DOI 10.1080/14639220210123806.

5. Endsley M. R. Toward a theory of situation awareness in dynamic systems // Human Factors. 1995. Vol. 37, no. 1. P. 32–64. DOI 10.1518/001872095779049543.

6. Parasuraman R., Riley V. Humans and automation: Use, misuse, disuse, abuse // Human Factors. 1997. Vol. 39, no. 2. P. 230–253. DOI 10.1518/001872097778543886.

7. Rieth M., et al. Adaptable automation for a more human-centered work environment // Safety Science. 2024. Vol. 186. Art. 103246 URL: https://www.sciencedirect.com/science/article/pii/S1071581924000302.

8. Event-Driven Predictive Gaze Analytics to Enhance Pilot Performance / Fu B. et al. // ACM Proceedings. 2025.

9. Evaluating the effectiveness of flight simulator training on perceptual-motor skills / Yang Zhang, Jie Chen, Xiao Zhong, Yongcong Shao, Weiwei Fu // Scientific Reports. 2025 Vol. 5, iss. 1. Art. 28062. DOI 10.1038/s41598-025-12929-0.

10. Alreshidi I., Moulitsas I., Jenkins K.W. Multimodal approach for pilot mental state detection based on EEG // Sensors. 2023. Vol. 23. Art. 7350. DOI 10.3390/s23177350.

11. Quynh Anh Nguyen, ORCID,Nam Anh Dao, Long Nguyen. Enhanced pilot attention monitoring: A time-frequency EEG analysis using CNN–LSTM Networks for Aviation Safety // Information. 2024. Vol. 16 (6). Art. 503. DOI 10.3390/info16060503.