Трёхэтапная методология генерации верифицированных UI-тестов на основе больших языковых моделей


Авторы

Титеев А. М.

Московский авиационный институт (национальный исследовательский университет), 125993, г. Москва, Волоколамское шоссе, д. 4

e-mail: loksader@yandex.ru

Аннотация

Работа посвящена проблеме автоматизации тестирования пользовательских интерфейсов современных веб-приложений, где сохраняется разрыв между требованиями на естественном языке и автоматизированными проверками, а «ложноположительные» тесты создают иллюзию качества. Особенно остро проблема стоит в авиакосмической отрасли при тестировании интерфейсов для контроля телеметрии и предполётного планирования, где ошибки визуализации критичны, а специалисты по автоматизации дефицитны. Предложена трёхэтапная методология автоматической генерации верифицированных UI-тестов на основе спецификаций на естественном языке с применением большой языковой модели Llama 3.3 70B и фреймворка Playwright. На первом этапе формируется структурированная UI-спецификация, доступная нетехническим экспертам. На втором — генерируются классы Page Object, инкапсулирующие логику взаимодействия. На третьем — создаются тестовые сценарии с многоуровневой верификацией, включающей проверку синтаксиса, компилируемости, надёжности выполнения и прироста тестового покрытия. Ключевым элементом является мутационное тестирование посредством перехвата DOM-событий, позволяющее неинвазивно вносить дефекты в интерфейс и проверять способность теста их обнаружить. В результате разработаны критерии многоуровневой фильтрации, отсеивающие нестабильные и ложноположительные тесты, и метод мутационного тестирования, не требующий модификации исходного кода приложения.

Ключевые слова:

автоматизация тестирования; UI-тесты; большие языковые модели; генерация тестов; мутационное тестирование; Page Object Model; Playwright

Список источников

  1. Maurizio Leotta, Diego Clerissi, Filippo Ricca, Cristiano Spadaro Improving Test Suites Maintainability with the Page Object Pattern: An Industrial Case Study// 2013 IEEE Sixth International Conference on Software Testing, Verification and Validation Workshops, 2013, pp. 108-113, DOI:10.1109/ICSTW.2013.19
  2. Junjie Wang, Yuchao Huang, Chunyang Chen, Zhe Liu, Song Wang, Qing Wang Software Testing with Large Language Models: Survey, Landscape, and Vision, 2023, DOI: 10.48550/arXiv.2307.07221
  3. Andrea Lops, Fedelucio Narducci, Azzurra Ragone, Michelantonio Trizio, Claudio Bartolini Lopes LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework, 2025, DOI: 10.48550/arXiv.2511.20403
  4. Saranya Alagarsamy, Chakkrit Tantithamthavorn, Aldeida Aleti A3Test: Assertion-Augmented Automated Test Case Generation, 2023, DOI: 10.48550/arXiv.2302.10352
  5. Lin Yang, Chen Yang, Shutao Gao, Weijing Wang, Bo Wang, Qihao Zhu, Xiao Chu, Jianyi Zhou, Guangtai Liang, Qianxiang Wang, Junjie Chen On the Evaluation of Large Language Models in Unit Test Generation, 2024, DOI: 10.48550/arXiv.2406.18181
  6. Max Schäfer, Sarah Nadi, Aryaz Eghbali, Frank Tip Adaptive Test Generation Using a Large Language Model, 2023, DOI: 10.48550/arXiv.2302.06527
  7. Yinghao Chen, Zehao Hu, Chen Zhi, Junxiao Han, Shuiguang Deng, Jianwei Yin ChatUniTest: A Framework for LLM-Based Test Generation, 2024, DOI: 10.48550/arXiv.2305.04764
  8. Eleanor Foley, Ashley Jacob, Ronit Kapoor Generating Test Cases Through Large Language Models, 2024, URL: https://digital.wpi.edu/downloads/pv63g461d
  9. Sutharsan Saarathy, Suresh Bathrachalam, Rajendran Bharath Self-Healing Test Automation Framework using AI and ML // International Journal of Strategic Management, 2024, vol 3, pp. 45-77, DOI: 10.47604/ijsm.2843
  10. Zemin Su, Cuiqin Bai, Shaowen Wei, Kangyong Liu, Yang Liu, Zhenxuan Huan Self-Healing UI Test Automation via Multi-Modal Fusion, 2025, URL: https://ieeexplore.ieee.org/abstract/document/11047603
  11. Zejun Wang, Kaibo Liu, Ge Li, Zhi Jin HITS: High-coverage LLM-based Unit Test Generation via Method Slicing, 2024, DOI: 10.48550/arXiv.2408.11324
  12. Mike Papadakis, Marinos Kintis, Jie Zhang, Yue Jia, Yves Le Traon, Mark Harman Mutation Testing Advances: An Analysis and Survey // Advances in Computers, vol 112, pp. 275-378, DOI: 10.1016/bs.adcom.2018.03.015
  13. René Just, Darioush Jalali, Laura Inozemtseva, Michael D. Ernst, Reid Holmes, Gordon Fraser Are mutants a valid substitute for real faults in software testing? // FSE 2014: Proceedings of the 22nd ACM SIGSOFT International Symposium on Foundations of Software Engineering, 2014, pp. 654-665, URL: https://www.researchgate.net/publication/277664637_Are_Mutants_a_Valid_Substitute_for_Real_Faults_in...
  14. Ana B. Sánchez, Pedro Delgado-Pérez, Inmaculada, Medina-Bulo, Sergio Segura1 Mutation testing in the wild: findings from GitHub, 2022, URL: https://www.researchgate.net/publication/362078955_Mutation_testing_in_the_wild_findings_from_GitHub

Скачать статью

mai.ru — информационный портал Московского авиационного института

© МАИ, 2000—2026

 Вход