В обработке естественно-языковой информации актуальна проблема выявления текстов определенной семантической направленности и определения их источников. Это требуется в анализе новостных потоков, чатов мессенджеров, социальных сетей, проверке документов на плагиат и других подобных задачах. Целью работы является обоснование концептуальной модели выявления в естественно-языковых потоках текстов определенной семантической направленности по формальным описаниям их источников. Анализ известных подходов показал потребность в собственном инструментарии для решения проблемы. В работе предлагается семантическую направленность задавать сценариями языка формальной грамматики гипотетического семантического объекта, сценарии представлять последовательностями характеристик семантического словаря и направленность текста определять семантической близостью сценарию. Бесконечность языка сценариев и отсутствие информации об исходном тексте исключают простой перебор, поэтому предполагаемый сценарий конструируется. Процесс организуется последовательным определением семантического сходства токенов текста характеристикам и их сборкой в предполагаемый сценарий, проверяемый на принадлежность языку. Для семантического сравнения текстов и сценариев сконструированы функции семантического подобия, общий и частный алгоритмы выявления текстов определенной семантической направленности. В общем алгоритме разбор сводится к построению вывода в формальной грамматике, для регулярных грамматик разбор выполняется системой переходов. Для ускорения сборка предполагаемого сценария совмещается с грамматическим разбором и используется механизм бек-трекинга. Точность алгоритмов определяется фактической близостью текстов сценариям. В работе приводится состав разработанного программного комплекса, тестирование которого подтверждает теоретические результаты. Исследование развивает фундаментальные основы математического моделирования естественно-языковой обработки и предлагает новые эффективные вычислительные алгоритмы для комплексов проблемно-ориентированных программ. Исследование выполнено при финансовой поддержке Кубанского научного фонда в рамках научно-инновационного проекта «НИП-20.1.4».
In natural language processing, an important challenge is the identification of texts with a specific semantic orientation and the determination of their sources. This is essential for tasks such as analyzing news streams, messenger chats, and social media, as well as for plagiarism detection and other similar applications. The objective of this study is to substantiation of a conceptual model for identifying texts of a certain semantic orientation in natural language flows based on formal descriptions of their sources. A review of existing approaches revealed the necessity of creating a dedicated toolkit to address this problem. The proposed approach defines semantic orientation through scenarios of a formal grammar language representing a hypothetical semantic object. These scenarios are expressed as sequences of characteristics from a semantic dictionary, and the orientation of a text is determined by its semantic proximity to a given scenario. Due to the infinite nature of the scenario language and the lack of prior information about the original text, exhaustive search is impractical. Instead, a hypothesized scenario is constructed dynamically. The process involves sequentially determining the semantic similarity of text tokens to characteristics and assembling them into a hypothesized scenario, which is then verified for conformity to the language. To compare the semantics of texts and scenarios, semantic similarity functions have been developed, along with general and specialized algorithms for detecting texts with a specific semantic orientation. The general algorithm frames parsing as the construction of a derivation in a formal grammar, while for regular grammars, parsing is performed using a transition system. To enhance efficiency, the assembly of the hypothesized scenario is integrated with grammatical parsing, employing a backtracking mechanism. The accuracy of the algorithms is determined by the actual proximity of texts to the given scenarios. The study also presents the structure of the developed software system, whose testing confirms the theoretical findings. This research contributes to the fundamental principles of mathematical modeling in natural language processing and introduces new, efficient computational algorithms for problem-oriented software solutions. The study was carried out with the financial support of the Kuban Science Foundation within the framework of the scientific and innovative project «NIP-20.1.4».
1. Прохоренок Н.А., Дронов В.А. Python 3. Самое необходимое. СПб.: БХВ-Петербург, 2021. 605 с. [Электронный ресурс]. URL: https://rusneb.ru/catalog/000200_000018_RU_NLR_BIBL_A_012485392/ (дата обращения: 16.02.2025).
2. Бенгфорт Б., Билбро Р., Охеда Т. Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка. СПб.: Питер, 2019. 368 с. [Электронный ресурс]. URL: https://rusneb.ru/catalog/000200_000018_RU_NLR_BIBL_A_011955723/ (дата обращения: 16.02.2025).
3. Николаев И.С., Митренина О.В., Ландо Т.М. Компьютерная и прикладная лингвистика. М.: Ленанд, 2016. 320 с. [Электронный ресурс]. URL: https://pureportal.spbu.ru/ru/publications/---(fa123ecb-1a1c-4ee2-b364-8351fabfff6c)/export.html (дата обращения: 16.02.2025).
4. Devlin Jacob, Ming-Wei Chang, Kenton Lee, Toutanova Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // Proceedings – 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL. 2019. Vol. 1 (Long and Short Papers), P. 4171–4186. DOI: 10.18653/v1/N19-1423.
5. Azhar Kassem Flayeh, Yaser Issam Hamodi, Nashwan Dheyaa Zaki. Text Analysis Based on Natural Language Processing (NLP) // Proceedings – 2nd International Conference on Advances in Engineering Science and Technology, AEST. 2022. P. 774–778. DOI: 10.1109/aest55805.2022.10413039.
6. Вишняков Ю.М., Вишняков Р.Ю. Формализация распознавания и идентификации семантических объектов в естественно-языковых текстовых потоках // Известия ЮФУ. Технические науки. 2024. № 4. С. 110–122. URL: https://izv-tn.tti.sfedu.ru/index.php/izv_tn/article/view/985 (дата обращения: 16.02.2025).
7. Kai Hu, Huayi Wu, Kunlun Qi, Jingmin Yu, Siluo Yang, Tianxing Yu, Jie Zheng, and Bo Liu. A domain keyword analysis approach extending Term Frequency-Keyword Active Index with Google Word2Vec model // Scientometrics 114. March 2017. Vol. 114 (3). P. 1031–1068. DOI: 10.1007/s11192-017-2574-9.
8. Rik Koncel-Kedziorski, Hannaneh Hajishirzi, Ashish Sabharwal, Oren Etzioni, Siena Dumas Ang. Parsing algebraic word problems into equations // Transactions of the Association for Computational Linguistics (TACL). 2015. Vol. 3. P. 585–597. DOI: 10.1162/tacl_a_00160.
9. Chandrapati L.M., Rao C.K. Descriptive Answers Evaluation Using Natural Language Processing // IEEE Access. June 2024. Vol. 12. P. 87333–87347. DOI: 10.1109/ACCESS.2024.3417706.
10. Aman Bhadouria, Pranav Gupta, Parish Bindal, Kapil Madan, Sonal Sonal. Automated Examination System using Machine Learning and Natural Language Processing // Proceedings – 2024 Sixteenth International Conference on Contemporary Computing, IC3 2024. 2024. P. 752–761. DOI: 10.1145/3675888.3676144.
11. Tianshuo Peng, Zuchao Li, Lefei Zhang, Hai Zhao, Ping Wang, Bo Du. Multi-modal Auto-regressive Modeling via Visual Tokens // Proceedings – 32nd ACM International Conference on Multimedia, ММ’24. 2024. P. 10735–10744. DOI: 10.1145/3664647.3681685.
12. Modi A., Dhanjal Y.S., Larhgotra A. Semantic Similarity for Text Comparison between Textual Documents or Sentences // Proceedings – 2023 International Conference on Innovative Computing, Intelligent Communication and Smart Electrical Systems, ICSES 2023. 2023. P. 1–5. DOI: 10.1109/ICSES60034.2023.10465440.
13. Sonali Mhatre, Shilpa Satre, Mansi Hajare, Aditi Hire, Aniket Itankar, Shruti Patil. Text Comparison Based on Semantic Similarity // Proceedings – 2023 3rd International Conference on Intelligent Technologies, CONIT 2023. P. 1–5. DOI: 10.1109/CONIT59222.2023.10205616.
14. Aadeesh Bali, Aniket Bhagwat, Aditya Bhise, Sarang Joshi. Semantic Similarity Detection and Analysis for Text Documents // Proceedings – 2024 Second International Conference on Emerging Trends in Information Technology and Engineering, ICETITE 2024. P. 1–9. DOI: 10.1109/ic-ETITE58242.2024.10493834.
15. Вишняков Ю.М., Вишняков Р.Ю. Вычислительная семантическая интерпретация текстов научно-технического стиля // Современные наукоемкие технологии. 2016. № 12–2. С. 236–242.; URL: https://top-technologies.ru/ru/article/view?id = 36428&ysclid = m77urlmrjv786427462 (дата обращения: 16.02.2025).
16. Льюис Ф., Розенкранц Д., Стирнз Р. Теоретические основы проектирования компиляторов / Пер. с англ. В.А. Исаева и др. Под ред. В.Н. Агафонова. М.: Мир, 1979. 645 с. [Электронный ресурс]. URL: https://rusneb.ru/catalog/000199 _000009_007626193/?ysclid = m77v68mwqf194123846 (дата обращения: 16.02.2025).
17. Ахо А., Ульман Дж. Теория синтаксического анализа, перевода и компиляции / Пер. с англ. В.Н. Агафонова. Под ред. В.М. Курочкина. М.: Мир, 1978. Т. 1. 612 с. [Электронный ресурс]. URL: https://rusneb.ru/catal og/000199_000009_007597729/ (дата обращения: 16.02.2025).