Аннотация. В статье рассматривается применение архитектуры UNetFormer для решения задачи семантической сегментации текстовых строк и таблиц в документах. Цель исследования – решение задачи семантической сегментации для документов, имеющих особенности, которые могут встречаться на одной странице документа: различные ориентации текста, таблицы, шумы и инородные объекты (печати, подписи). В качестве решения поставленной задачи была выбрана архитектура нейронной сети для семантической сегментации – UNetFormer, которая показывает высокую эффективность в других задачах: семантической сегментации спутниковых и медицинских снимков. Также для более эффективного обучения авторы предлагают использование метода аугментации данных в реальном времени с помощью генерации и преобразования реальных данных. Для определения ориентации текста в обучающих данных использовались карты, соответствующие различным ориентациям текста, а также карты для детекции таблиц (их ребер и узлов) и ядер строк для более точного вырезания текстовых прямоугольников с последующей обработкой моделью распознавания текста. Полученные результаты демонстрируют высокий показатель среднего значения индекса Жаккара (mIoU = 0,833) на датасете из 1230 размеченных документов, собранном авторами.
Annotation. The article discusses the application of the UNetFormer architecture to solve the problem of semantic segmentation of text strings and tables in documents. The purpose of the study is to solve the problem of semantic segmentation for documents that have features that can occur on one page of a document: different orientations of text, tables, noises and foreign objects (seals, signatures). As a solution to this problem, the neural network architecture for semantic segmentation, UNetFormer, was chosen, which shows high efficiency in other tasks: semantic segmentation of satellite and medical images. Also, for more effective training, the authors suggest using the real-time data augmentation method by generating and converting real data. To determine the orientation of the text in the training data, maps corresponding to different orientations of the text were used, as well as maps for detecting tables (their edges and nodes) and string kernels for more accurate cutting of text rectangles with subsequent processing by a text recognition model. The results obtained demonstrate a high indicator of the average value of the Jacquard index (mIoU = 0.833) on a dataset of 1230 marked-up documents collected by authors.
1. Котюжанский Л.А., Четверкин Н.В., Протасевич А.А., Кочеров Р.В., Рыжкова Н.Г. Классификация сканированных документов с использованием сверточной нейросети // Современные наукоемкие технологии. 2021. № 6. С. 45–49.
2. Полюхин Д.А., Сальников И.И. Методы и этапы распознавания рукописного текста // Научное обозрение. Педагогические науки. 2019. № 3. С. 71–74.
3. Wong K.Y., Casey R.G., Wahl F.M. Document analysis system // IBM Journal of Research and Development. 1982. Vol. 26, Is. 6. Р. 647–656. DOI: 10.1147/rd.266.0647.
4. Wang X., He Z., Wang K., Wang Y., Zou L., Wu Z. A survey of text detection and recognition algorithms based on deep learning technology // Neurocomputing. 2023. Vol. 556. DOI: 10.1016/j.neucom.2023.126702.
5. Huang J., Pang G., Kovvuri R., Toh M., Liang K.J., Krishnan P., Yin X., Hassner T. A multiplexed network for end-to-end, multilingual OCR // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021. P. 4547–4557. [Электронный ресурс]. URL: https://ieeexplore.ieee.org/document/9577633 (дата обращения: 17.01.2024).
6. Busta M., Neumann L., Matas J. Deep textspotter: An end-to-end trainable scene text localization and recognition framework // 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017. P. 2380–7504. [Электронный ресурс]. URL: https://ieeexplore.ieee.org/document/8237504 (дата обращения: 17.01.2024).
7. Wang L., Li R., Zhang C., Fang S., Duan C., Meng X., Atkinson P.M. Unetformer: A unet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery // ISPRS Journal of Photogrammetry and Remote Sensing. 2022. Vol. 190. Р. 196–214. DOI: 10.1016/j.isprsjprs.2022.06.008.
8. Hatamizadeh A., Xu Z., Yang D., Li W., Roth H., Xu D. Unetformer: A unified vision transformer model and pre-training framework for 3d medical image segmentation // Cornell University. 2022. [Электронный ресурс]. URL: https://arxiv.org/abs/2204.00631 (дата обращения: 17.01.2024).
9. Badrinarayanan V., Handa A., Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for robust semantic pixel-wise labelling // Cornell University. 2015. [Электронный ресурс]. URL: https://arxiv.org/abs/1505.07293 (дата обращения: 17.01.2024).
10. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // MICCAI 2015. P. 234–241. [Электронный ресурс]. URL: https://arxiv.org/abs/1505.04597 (дата обращения: 17.01.2024).
11. Kingma D.P., Ba J. Adam: A method for stochastic optimization // Cornell University. 2017. [Электронный ресурс]. URL: https://arxiv.org/abs/1412.6980 (дата обращения: 17.01.2024).