В статье определено место нейронных сетей в задаче распознавания образов. Приведены архитектуры нейронных сетей, такие как неокогнитрон, автокодировщик, кресцептрон, очень глубокий обучатель, глубокие сети доверия, сеть долго–краткосрочной памяти, сети Inception, описана история их развития. Авторами также представлен анализ методов обучения глубоких нейронных сетей, а именно, метод на основе правил Хэбба, метод группового учета аргументов, алгоритм обратного распространения ошибки, метод стохастического градиентного спуска. Приведены результаты анализа существующих библиотек, во многом благодаря которым в последнее время отмечен высокий рост применения описываемых технологий. Широкий спектр архитектур нейронных сетей, методов их обучения и готовых библиотек позволяет выявить наиболее приспособленные для конкретной задачи и типа данных. Представлены результаты решения задачи распознавания лиц по фотоизображению с применением глубоких нейронных сетей. Методика решения задачи распознавания лиц по фотоизображению включает пять этапов. Первые два этапа направлены на подготовку данных с использованием методов выравнивания гистограммы, сегментации цветного изображения в цветовом пространстве RGB на основе цветопередачи. Два следующих этапа – поиск «точек интереса», дальнейшее нахождение расстояний между ними и их отношениями – выполняются с целью обнаружить черты лица с использованием алгоритма ближайшего соседа. Заключительным этапом в распознавании лиц в методике на основе фотографий является процесс идентификации, когда классифицируются точки интереса, изображенные на фотографии, полученной на предыдущих этапах с использованием нейросетей. Предложенная методика для решения задачи обеспечивает положительный результат.
This article defines the place of neural networks in pattern recognition task. Neural network architectures (Neocognitron, Autoencoder, Cresceptron, History Compressor, Deep Belief Network, Long Short-Term Memory, Inception) are given. Also, the history of these architectures’ development is described. Authors presented the analysis of the learning methods of deep neural networks, namely, Hebb Rule Method, Group method of data handling, The backpropagation algorithm, Stochastic gradient descent algorithm. The results of existing libraries analysis are given, in many respects thanks to which a high growth in the use of the described technologies has been noted recently. A wide range of neural network architectures, learning methods and ready-made libraries allow to identify the most suitable for a particular task and data type. The results of the face recognition problem solving by photographs using deep neural networks. The technique for solving the face recognition problem by photographs includes five steps. The first two stages are aimed at preparing data using histogram equalization methods, color image segmentation in RGB color space based on color saliency. The next two stages are the search for «points of interest», that is finding the distances between them and their relationships are performed in order to detect facial features and using the nearest neighbor algorithm. The final step in face recognition is identification process. That is, points of interest are classified as depicted in a photograph obtained in previous steps using neural networks. The proposed technique for solving the problem assures a positive result.
1. Базанов П.В., Джосан О.В. Выделение информативных признаков на изображении лица в задаче идентификации человека // Сибирский журнал вычислительной математики. 2006. Т. 9. № 3. С. 207–214.
2. Чабан Л.Н. Методы и алгоритмы распознавания образов в автоматизированном дешифрировании данных дистанционного зондирования: учебное пособие. М.: МИИГАиК, 2016. 94 с.
3. Seide F., Agarwal A. CNTK: Microsoft’s Open-Source Deep-Learning Toolkit. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discoveryand Data Mining (KDD ’16) (San Francisco, California, USA, August 13–17, 2016). 2016. P. 2135–2135.
4. Лопатина А.Д. Выделение области лица с помощью комбинации методов цветовой и яркостной сегментации // Вестник УГАТУ. 2009. Т. 13. № 2 (35). С. 180–187.
5. Симаков В.С., Луценко Е.В. Адаптивное управление сложными системами на основе теории распознавания образов. Краснодар: Техн. ун-т Кубан. гос. технол. ун-та, 1999. 318 с.
6. Таскин А.С., Миркес Е.М. Линейная регрессия с кластеризацией по признаку на данных с действительными величинами // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. Математика, механика, информатика. 2012. № 3 (43). С. 71–76.
7. Головинов А.О. Анализ существующих решений в области распознавания образов (на примере капсульных сетей) // Молодой исследователь Дона. 2018. № 3 (12). С. 37–39.
8. Gabdiev F.F., Yusupova N.I., Smetanina O.N., Sazonova E.Yu. Models and Methods for Solving Face Recognition Problem by Photos. Computer Science and Information Technologies (CSIT 2019): proceedings of the 21st International Workshop. 2019. [Electronic resource]. URL: https://www.atlantis-press.com/proceedings/csit-19/125927871 (date of access: 12.04.2020).
9. Ghorpade S., Ghorpade J., Mantri Sh. Pattern recognition using neural networks. International Journal of Computer Science & Information Technology (IJCSIT). 2010. Vol. 2. No. 6. Р. 92–98. [Electronic resource]. URL: https://www.researchgate.net/publication/49595577_Pattern_Recognition_Using_Neural_Networks (date of access: 14.04.2020).
10. Фомин Я.А. Распознавание образов: теория и применения. М.: ФАЗИС, 2012. 429 с.
11. Зенин А.В. Анализ методов распознавания образов // Молодой ученый. 2017. № 16. С. 125–130.
12. Турков П.А., Красоткина О.В. Байесовский подход к задаче обучения распознаванию образов в нестационарной генеральной совокупности // Приборы и методы экспериментальной ядерной физики. Электроника и автоматика экспериментальных установок: труды 2-й Международной молодежной научной школы. 2011. [Электронный ресурс]. URL: https://docplayer.ru/45679251-Bayesovskiy-podhod-k-zadache-obucheniya-raspoznavaniyu-obrazov-v-nestacionarnoy-generalnoy-sovokupnosti.html (дата обращения: 12.04.2020).
13. Каркищенко А.Н., Гречухин И.А. Статистическое распознавание лиц по геометрии характерных точек для систем транспортной безопасности // Информационные технологии в управлении. Управление большими системами. 2020. № 38. С. 65–77.
14. Еремеев Е.А. Распознавание образов в экспертных системах принятия решений // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. С. 704–713.
15. Bergstra J., Breuleux O., Bastien F., et al. Theano: a CPU and GPU Math Expression Compiler. Proceedings of the Python for Scientific Computing Conference (SciPy) (Austin, TX, USA, June 28 – July 3, 2010). 2010. P. 3–10.
16. Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2017. Т. 6. № 3. С. 28–59.
17. Ballard D.H. Modular Learning in Neural Networks. Proceedings of the Sixth National Conference on Artificial Intelligence (Seattle, Washington, USA, July 13–17, 1987). 1987. Vol. 1. Р. 279–284.
18. Schmidhuber J. Learning Complex, Extended Sequences Using the Principle of History Compression. NeuralComputation. 1992. Vol. 4. No. 2. Р. 234–242.
19. Jia Y., Shelhamer E., Donahue J., et al. Caffe: Convolutional Architecture for Fast Feature Embedding. Proceedings of the 22nd ACM International Conference on Multimedia (Orlando, FL, USA, November 03–07, 2014). 2014. P. 675–678. DOI: 10.1145/2647868.2654889.
20. Chollet. F., et al. Keras. 2015. [Electronic resource]. URL: https://github.com/fchollet/keras (date of access: 12.04.2020).
21. PadlePadle: PArallel Distributed Deep LEarning. [Electronic resource]. URL: http://www.paddlepaddle.org/ (date of access: 12.04.2020).
22. Chen T., Li M., Li Y. MXNet: A Flexible and Efficient Machine Learning Libraryfor Heterogeneous Distributed Systems. [Electronic resource]. URL: https://arxiv.org/abs/1512.01274 (date of access: 12.04.2020).
23. Abadi M., Agarwal A. Barham P. TensorFlow: Large-Scale Machine Learning onHeterogeneous Distributed Systems. Proceedings of the 12th USENIX Symposium onOperating Systems Design and Implementation (OSDI ’16) (Savannah, GA, USA, November 2–4, 2016). 2016. P. 265–283.
24. Collobert R., Kavukcuoglu K., Farabet C. Torch7: a Matlab-like Environment for MachineLearning. BigLearn, NIPS Workshop (Granada, Spain, December 12–17, 2011).
25. Друки А.А. Алгоритмы выделения лиц на статических RGB изображениях и в видеопотоке // Известия Томского политехнического университета. Управление, вычислительная техника и информатика. 2012. Т. 320. № 5. С. 65–69.