Авторами статьи предлагается программное решение по построению классификаторов для анализа текстов на естественном языке. В статье представлено современное состояние проблемы построения классификаторов для анализа текстов на естественном языке. Проведенный анализ позволил сделать вывод о необходимости программной реализации в связи со сложностью адаптации существующих программных решений для анализа тональности новостных текстов на башкирском языке. В статье приводится постановка задачи анализа тональности новостных текстов на башкирском языке, для ее решения предлагается гибридный подход, который включает методы, основанные на словарях, и методы, основанные на машинном обучении. Предлагаются следующие этапы для решения задачи анализа тональности текстов на башкирском языке: предварительная обработка текста (приведение к нижнему регистру; удаление символов, не являющихся буквами; удаление стоп-слов), векторное представление слов (метод представления текста в векторном виде Bag-of-words и статистический показатель TF-IDF), классификация (положительная, отрицательная тональность; метод опорных векторов со стохастическим градиентным спуском). Также в статье приводятся входные и выходные данные системы, ее функции и атрибуты, требования к программно-аналитическому комплексу, а именно функциональные, нефункциональные, системные, структурная схема программно-аналитического комплекса. Для реализации были использованы язык программирования Python, большое количество библиотек, таких как Scikit-Learn, NLTK, Gensim, spaCy, NetworkX и Yellowbrick, реализующих методы машинного обучения.
The software solution on constructing classifiers for analyzing texts in natural language is proposed by authors of this article. State of the problem of constructing classifiers for the analysis of texts in natural language is presented. This analysis led to the conclusion about the need for a software implementation due to the complexity of adaptation of existing software solutions for the analysis of news texts tone in Bashkir. The statement of the problem of analyzing the sentiment of news texts in Bashkir is given. Hybrid approach is proposed to solve this problem. This approach includes methods based on dictionaries and methods based on machine learning. The following steps for the solution of texts tonality analysis of the problem in Bashkir: pre-processing of text (leading to lower case; removing characters that are not letters, removal of stop words), word embedding (presentation method of text in vector Bag-of-words and TF-IDF statistic), classification (positive, negative sentiment; support vector machines with stochastic gradient descent). Also input and output data of the system provides in this article, system functions and attributes, requirements for the software-analytical complex, namely, functional, non-functional, system, structural diagram of the software-analytical complex. Python programming language, a large number of libraries such as Scikit-Learn, NLTK, Gensim, spaCy, NetworkX and Yellowbrick that implement machine learning methods have been used to implement.
1. Бенгфорт Бенджамин, Билбро Ребекка, Охеда Тони. Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка. СПб.: Питер, 2019. 368 с.
2. Maite Taboada Sentiment Sentiment Analysis: An Overview from Linguistics // Annual Review of Linguistics. 2016. P. 54. [Electronic resource]. URL: https://www.researchgate.net/publication/283954600_Sentiment_Analysis_An_Overview_from_Linguistics (date of access: 04.12.2020).
3. Liu B. Sentiment analysis and opinion mining. Synthesis lectures on human language technologies. 2012. V. 5. № 1. Р. 1–167.
4. Лукашевич Н.В., Четвёркин И.И. Комбинирование тезаурусных и корпусных знаний для извлечения оценочных слов // Системы и средства информатики. 2015. Т. 25. № 1. С. 20–33.
5. Аббаси М.М., Бельтюков А.П. Анализ эмоций из текста на русском языке с использованием синтаксических методов // Информационные технологии и системы. 2019. С. 137–142.
6. Романов А.С., Васильева М.И., Куртукова А.В., Мещеряков Р.В. Анализ тональности текста с использованием методов машинного обучения // Proceedings. Сер. «CEUR-WS Workshop Proceedings» St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences, Herzen State Pedagogical University of Russia. Издательство: Creative Commons CCО, 2018. С. 86–95.
7. Чиркин Е.С., Лопатин Д.В. Подходы к нечеткому поиску нежелательного контента на веб-странице // Вестник Тамбовского университета. Серия Естественные и технические науки. 2016. Т. 21. № 6. С. 2358–2365.
8. Potapova R., Komalova L. Multimodal perception of aggressive behavior. International Conference on Speech and Computer. Springer, Cham. 2016. P. 499–506.
9. Ананьева М.И., Кобозева М.В., Соловьев Ф.Н., Поляков И.В., Чеповский А.М. О проблеме выявления экстремистской направленности в текстах // Вестник новосибирского государственного университета: Информационные технологии. 2016. Т. 14. № 4. С. 5–13.
10. Wiebe, J.M., Wilson, T., Cardie, C. Annotating expressions of opinions and emotions in language. Language Resources and Evaluation. 2005. Vol. 39. Iss. 2–3. P. 165–210.
11. Бодрунова С.С. Кросс-культурный тональный анализ пользовательских текстов в Твиттере // Вестник Московского университета. Журналистика. 2018. № 6. C. 191–212.
12. Воронина И.Е. Анализ эмоциональной окраски сообщений в социальных сетях (на примере сети «вконтакте // Вестник ВГУ: Системный анализ и информационные технологии. 2015. № 4. C. 151–158.
13. Гаршина В.В., Калабухов К.С., Степанцов В.А., Смотров С.В. Разработка системы анализа тональности текстовой информации // Вестник ВГУ: Системный анализ и информационные технологии. 2017. № 3. C. 185–194.
14. Лукашевич Н.В. Автоматический анализ тональности текстов по отношению к заданному объекту и его характеристикам // Электронные библиотеки. 2015. Т. 18. № 3–4. С. 88–119.
15. Ведущий российский системный интегратор Айтеко. [Электронный ресурс]. URL: http://www.iteco.ru/ solutions/business_intelligence_products/analytical_courier (дата обращения: 04.12.2020).
16. SentiStrength. [Электронный ресурс]. URL: http://sentistrength.wlv.ac.uk (дата обращения: 04.12.2020).
17. Проект ВААЛ. [Электронный ресурс]. URL: http://www.vaal.ru (дата обращения: 04.12.2020).
18. RCO Fact Extractor SDK. [Электронный ресурс]. URL: http://www.rco.ru/?page_id=3554 (дата обращения: 04.12.2020).
19. Сулейманов А.К., Шарипова М.А., Сметанина О.Н., Сазонова Е.Ю., Миронов К.В. Модели и методы анализа тональности в текстах на башкирском языке // Моделирование, оптимизация и информационные технологии. 2020. Т. 8(3). [Электронный ресурс]. URL: https://moit.vivt.ru/wp-content/uploads/2020/08/SuleimanovSoavtors_3_20_1.pdf (дата обращения: 04.12.2020).