Исследование было проведено при использовании моделей нейронных сетей на основе аналитических методов и проведения эксперимента. При построении моделей использовался язык программирования Python и фреймворк машинного обучения Keras, встроенный в TensorFlow (открытая программная библиотека для машинного обучения, разработанная компанией Google для решения задач построения и тренировки нейронных сетей). Результаты работы представляют собой модель сверточного автокодировщика, состоящего из энкодера и декодера. Представленная модель оптимизирована относительно архитектуры нейронной сети и набора гиперпараметров с точки зрения минимизации длины вектора представления и минимизации ошибок восстановления слов после расшифровки (декодера). Разработанная модель представлена в виде базы для обучения, состоящей из 6,807724 млн слов русского языка, программной реализации на языке Python, гиперпараметров модели, набора параметров обученной сети. Обученная модель, примененная к обучающей выборке, восстанавливает (расшифровывает) слова при уровне ошибок – 0 %, примененная к тестовой выборке – 0,02 %. Построенная модель может быть использована для построения алгоритмов обработки естественного языка, в том числе для разработки интеллектуального дистанционного электронного помощника по взаимодействию информационных систем с пользователем.
The study was conducted with the use of neural network models, on the basis of analytical methods and experimentation. The models were constructed with the use of the Python programming language and the Keras machine learning framework embedded in TensorFlow (an open software library for machine learning). The results present a convolutional autoencoder model, which consists of an encoder and a decoder. The presented model is optimized with respect to neural network architecture and the set of hyperparameters in terms of minimising the length of word embedding and minimising errors in words recovery after decoding. The developed model is presented as a training base consisting of 6.807724 million words of the Russian language, software implementation in the Python language, model hyperparameters and the set of parameters of the trained network. The trained model applied to the training set recovers (decrypts) words at the error level of 0 %, and the model applied to the test set recovers at the error level of 0.02 %. The constructed model can be used to develop algorithms of Natural Language Processing, including the development of remote intelligent digital assistant for interaction between information systems and a user.
1. Bullinaria J.A., Levy J.P. Extracting semantic representations from word co-occurrence statistics: A computational study. Behavior Research Methods. 2007. Vol. 39. No. 3. P. 510–526.
2. Baroni M., Lenci A. Distributional memory: A general framework for corpus-based semantics. Computational Linguistics. 2010. Vol. 36. No. 4. P. 673–721.
3. Cohen R., Goldberg Y., Elhadad M. Domain adaptation of a dependency parser with a class-class selectional preference model. In Proceedings of ACL 2012 Student Research Workshop (ACL ‘12). Association for Computational Linguistics. 2012. P. 43–48.
4. Mikolov T., Kombrink S., Burget L., Cernocky J.H., Khudanpur S. Extensions of recurrent neural network language model. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2011. P. 5528–5531.
5. Mikolov T., Sutskever I., Chen K., Corrado G.S., Dean J. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5–8, 2013, Lake Tahoe, Nevada, United States, 2013. P. 3111–3119.
6. Collobert R., Weston J., Bottou L., Karlen M., Kavukcuoglu K., Kuksa P. Natural language processing (almost) from scratch. The Journal of Machine Learning Research. 2011. Vol. 12. P. 2493–2537.
7. Socher R., Pennington J., Huang E.H., Ng A.Y., Manning C.D. Semi-supervised recursive autoencoders for predicting sentiment distributions. In Proceedings of the Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, USA, 2011. P. 151–161.
8. Al-Rfou R., Perozzi B., Skiena S. Polyglot: Distributed word representations for multilingual NLP. In Proc. of CoNLL 2013. P. 183–192.
9. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012). [Electronic resource]. URL: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks (date of access: 27.11.2021).