Автоматизация обработки обращений граждан, поступающих в электронном виде с приложением изображений, становится все более значимой для эффективной работы государственных и муниципальных организаций. В представленной работе реализован подход, основанный на современных методах компьютерного зрения и машинного обучения, для автоматического выделения и распознавания текстовой информации на сканах и фотографиях документов различного качества. Целью данной работы является разработка системы, которая будет автоматически анализировать и распознавать электронные обращения граждан в виде изображений в различных условиях, используя гибридные технологии – сочетание нейросетевых моделей для детекции объектов в режиме реального времени с инструментами для распознавания текста. В ходе исследования были изучены и сопоставлены архитектуры сверточных нейронных сетей для выделения текстовых областей и алгоритмы распознавания текста, что позволило проанализировать их эффективность при различных условиях, включая размытость, наклон текста и низкое качество изображений. Проведен сравнительный анализ точности и скорости работы моделей, а также выявлены основные преимущества и ограничения существующих решений. Результаты экспериментов показали, что интеграция современных методов обработки изображений и распознавания текста позволяет повысить точность и снизить количество ошибок при автоматической регистрации данных в электронных обращениях по сравнению с традиционными подходами. Применение разработанного подхода на основе нейросетевых моделей с учетом технологии оптического распознавания текста может быть рекомендовано для внедрения в автоматизированные системы документооборота, что будет способствовать ускорению рассмотрения заявлений граждан и улучшению качества предоставляемых государственных услуг. Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по государственному заданию Финуниверситета.
The automation of processing citizen appeals submitted electronically with attached images is becoming increasingly important for the effective operation of governmental and municipal organizations. This paper presents an approach based on modern computer vision methods and machine learning for the automatic detection and recognition of textual information in scans and photographs of documents of varying quality. The goal of this work is to develop a system that will automatically analyze and recognize electronic appeals from citizens in the form of images in various conditions using hybrid technologies – a combination of neural network models for real-time object detection with text recognition tools. The study examines and compares the architectures of convolutional neural networks for text area detection and algorithms for text recognition, enabling an assessment of their effectiveness under various conditions, including image blur, text skew, and low image quality. A comparative analysis of model accuracy and processing speed was carried out, and the main advantages and limitations of existing solutions were identified. Experimental results have shown that the integration of advanced image processing methods and text recognition algorithms increases accuracy and reduces the number of errors in the automatic registration of data in electronic appeals compared to traditional approaches. The application of the developed approach based on neural network models, taking into account optical character recognition technology, can be recommended for implementation in automated document management systems, which will help to speed up the processing of citizens’ applications and improve the quality of public services provided. The article was prepared based on the results of research carried out at the expense of budgetary funds under a state assignment to the Financial University.
1. Ivanyuk V. Neural Network Model for the Multiple Factor Analysis of Economic Efficiency of an Enterprise // Lecture Notes in Computer Science. 2021. Vol. 12855 LNAI. P. 278–289.; URL: https://link.springer.com/chapter/10.1007/978-3-030-87897-9_26 (дата обращения: 06.08.2025). DOI: 10.1007/978-3-030-87897-9_26. EDN: HFSOBY.
2. Тишина Л.В. Разработка модуля интеллектуального распознавания документов средствами машинного зрения // Интерэкспо Гео-Сибирь. 2022. Т. 7. № 2. С. 136–140. EDN: KSKGTZ.
3. Корчагин С.А., Догадина Е.П., Мелентьев В.В., Никитин П.В., Сердечный Д.В. Система поддержки принятия решений по выдаче банковских гарантий на основе прогнозирования исполнения контрактов с использованием методов машинного обучения и технологий парсинга // Современные наукоемкие технологии. 2023. № 7. С. 41–47. URL: https://top-technologies.ru/ru/article/view?id=39692 (дата обращения: 04.07.2025). DOI: 10.17513/snt.39692.
4. Lozhkin A.G., Mayorov K.N., Bozek P. Convolutional neural networks training for autonomous robotics // Management Systems in Production Engineering. 2021. Vol. 29, Is. 1. P. 75–79. DOI: 10.2478/mspe-2021-0010.
5. Andriyanov N. Methods for preventing visual attacks in convolutional neural networks based on data discard and dimensionality reduction // Applied Sciences. 2021. Vol. 11, Is. 11. Article 5235. URL: https://www.mdpi.com/2076-3417/11/11/5235 (дата обращения: 06.07.2025). DOI: 10.3390/app11115235.
6. Baek Y., Lee B., Han D., Yun S., Lee H. Character region awareness for text detection // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 9365–9374. DOI: 10.1109/CVPR.2019.00959.
7. Shi B., Bai X., Yao C. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 39, Is. 11. P. 2298–2304. DOI: 10.1109/TPAMI.2016.2646371.
8. Xiao L., Zhou P., Xu K., Zhao X. Multi-directional scene text detection based on improved YOLOv3 // Sensors. 2021. Vol. 21, Is. 14. Art. 4870. DOI: 10.3390/s21144870.
9. Li M., Lv T., Chen J., Cui L., Lu Y., Florencio D., Zhang C., Li Z., Wei F. TrOCR: Transformer-based optical character recognition with pre-trained models // Proceedings of the AAAI Conference on Artificial Intelligence. 2023. Vol. 37, No. 11. P. 13094–13102. DOI: 10.1609/aaai.v37i11.26538.
10. Alahmadi M.D., Alshangiti M. Optimizing OCR performance for programming videos: the role of image super-resolution and large language models // Mathematics. 2024. Vol. 12, Is. 7. Art. 1036. DOI: 10.3390/math12071036.
11. Maliński K., Okarma K. Analysis of image preprocessing and binarization methods for OCR-based detection and classification of electronic integrated circuit labeling // Electronics. 2023. Vol. 12. Art. 2449. DOI: 10.3390/electronics12112449.
12. Мухамадиева К.Б. Обнаружение и распознавание неординарного текста из видеокадров // Вестник Донецкого национального университета. Серия Г: Технические науки. 2021. № 1. С. 45–57. EDN: WCKKZA.
13. AlKendi W., Gechter F., Heyberger L., Guyeux C. Advancements and Challenges in Handwritten Text Recognition: A Comprehensive Survey // Journal of Imaging. 2024. Vol. 10, Is. 1. Art. 18. URL: https://www.mdpi.com/2313-433X/10/1/18 (дата обращения: 04.07.2025). DOI: 10.3390/jimaging10010018.
14. Gupta A., Vedaldi A., Zisserman A. Synthetic Data for Text Localisation in Natural Images // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 2315–2324. URL: https://ieeexplore.ieee.org/document/7780623 (дата обращения: 04.07.2025). DOI: 10.1109/CVPR.2016.254.
15. Abdellatif O., Ayman A., Hamdi A. LMV-RPA: Large Model Voting-Based Robotic Process Automation // In: Abraham A., Alimi A.M., Haqiq A., Sehaba K., Gandhi N. (eds) Advances on Intelligent Computing and Data Science II. ICACIn 2024. Lecture Notes on Data Engineering and Communications Technologies, vol 255. Springer, Cham. 2025. P. 134–144. [Электронный ресурс]. URL: https://link.springer.com/chapter/10.1007/978-3-031-91354-9_11 (дата обращения: 04.07.2025). DOI: 10.1007/978-3-031-91354-9_11.
16. Guan S., Lin M., Xu C., Liu X., Zhao J., Fan J., Xu Q., Greene D. PreP-OCR: A Complete Pipeline for Document Image Restoration and Enhanced OCR Accuracy // Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL). 2025. P. 15413–15425. [Электронный ресурс]. URL: https://aclanthology.org/2025.acl-long.749 (дата обращения: 04.07.2025). DOI: 10.18653/v1/2025.acl-long.749.
17. Liu Y., Li Z., Huang M., Yang B., Yu W., Li C., Yin X., Liu C., Jin L., Bai X. OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models // Science China Information Sciences. 2024. Vol. 67. Art. 220102. [Электронный ресурс]. URL: https://link.springer.com/article/10.1007/s11432-024-4235-6 (дата обращения: 04.07.2025). DOI: 10.1007/s11432-024-4235-6.
18. Kim G., Hong T., Yim M., Nam J., Park J., Yim J., Hwang W., Yun S., Han D., Park S. OCR-free Document Understanding Transformer. In: Avidan S. et al. (eds) Computer Vision – ECCV 2022. Lecture Notes in Computer Science, vol 13688. Springer, Cham. 2022. P. 498–517. [Электронный ресурс]. URL: https://link.springer.com/chapter/10.1007/978-3-031-19815-1_29 (дата обращения: 07.07.2025). DOI: 10.1007/978-3-031-19815-1_29.
19. Abdallah A., Eberharter D., Pfister Z., Jatowt A. A survey of recent approaches to form understanding in scanned documents // Artificial Intelligence Review. 2024. Vol. 57. Art. 342. DOI: 10.1007/s10462-024-11000-0.
20. Никитин Д.В., Тараненко И.С., Катаев А.В. Детектирование дорожных знаков на основе нейросетевой модели YOLO // Инженерный вестник Дона. 2023. № 7 (103). С. 91–99. EDN: MPZLRZ.