<?xml version="1.0" encoding="UTF-8"?>
<article xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="JATS-archive-oasis-article1-4.xsd" article-type="research-article" dtd-version="1.4" xml:lang="ru">
  <front>
    <journal-meta>
      <journal-title-group>
        <journal-title>Журнал Современные наукоемкие технологии</journal-title>
      </journal-title-group>
      <issn>1812-7320</issn>
      <publisher>
        <publisher-name>Общество с ограниченной ответственностью &amp;quot;Издательский Дом &amp;quot;Академия Естествознания&amp;quot;</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.17513/snt.39307</article-id>
      <article-id pub-id-type="publisher-id">ART-39307</article-id>
      <title-group>
        <article-title>СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО РАСПОЗНАВАНИЯ ЭМОЦИЙ НА ОСНОВЕ ТЕХНОЛОГИИ СВЁРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Бурякова</surname>
              <given-names>О.С.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Buryakova</surname>
              <given-names>O.S.</given-names>
            </name>
          </name-alternatives>
          <email>buryakovaos@yandex.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Решетникова</surname>
              <given-names>И.В.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Reshetnikova</surname>
              <given-names>I.V.</given-names>
            </name>
          </name-alternatives>
          <email>irina_reshetnikova@mail.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Черкесова</surname>
              <given-names>Л.В.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Cherkesova</surname>
              <given-names>L.V.</given-names>
            </name>
          </name-alternatives>
          <email>chia2002@inbox.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
      </contrib-group>
      <aff id="aff1">
        <institution xml:lang="ru">ФГБОУ ВО «Донской государственный технический университет»</institution>
        <institution xml:lang="en">Don State Technical University</institution>
      </aff>
      <pub-date date-type="pub" iso-8601-date="2022-09-03">
        <day>03</day>
        <month>09</month>
        <year>2022</year>
      </pub-date>
      <issue>9</issue>
      <fpage>44</fpage>
      <lpage>52</lpage>
      <permissions>
        <license xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This is an open-access article distributed under the terms of the CC BY 4.0 license.</license-p>
        </license>
      </permissions>
      <self-uri content-type="url" hreflang="ru">https://top-technologies.ru/article/view?id=39307</self-uri>
      <abstract xml:lang="ru" lang-variant="original" lang-source="author">
        <p>Любая информационная система, взаимодействующая с пользователем напрямую, нуждается не только в анализе смысла команд или действий человека, но также и в понимании его эмоций – невербального общения. Для разработки программного средства автоматического распознавания эмоций выбрана технология сверточной нейронной сети. Её предназначением является эффективное распознавание образов (изображений) – выходы скрытых промежуточных слоёв образуют матрицу (изображение) или набор матриц – несколько слоёв изображения. На вход сверточной нейронной сети подаётся три слоя изображения, которые обрабатываются отдельно и сравниваются с изображениями из базы данных. Авторами изучены современные программы – анализаторы эмоций, как отечественные, так и зарубежные, и существующие наборы данных (датасеты) для обучения свёрточных нейронных сетей, выполнен синтез и обучение модели. Для программной реализации решено использовать язык программирования Python версии 3 с дистрибутивом Anaconda, а также интегрированную среду разработки Jupiter Notebook, модули OpenCV и TensorFlow. Проведено тестирование, где была продемонстрирована работоспособность программного средства. При обсуждении результатов работы было отмечено, что именно эмоции движут поведением человека, в том числе деструктивными поступками, что важно для органов правопорядка. Программное средство находит применение во многих сферах: с его помощью можно определить воздействие рекламы на покупателя, узнать реакцию аудитории на фильмы, спектакли, шоу и др.; в сфере образования можно изучать настроение и внимание учеников во время занятий; в работе с персоналом можно определить эмоциональное состояние сотрудника, своевременно заметить его усталость, недовольство, готовность на конфликт и эффективнее перераспределить задачи; его можно использовать в медицине при реабилитации пациентов; оно может применяться в робототехнике, направленной на сферу услуг и работу с клиентами, и др.</p>
      </abstract>
      <abstract xml:lang="en" lang-variant="translation" lang-source="translator">
        <p>Any information system that interacts with user directly needs not only to analyze the meaning of person’s commands or actions, but also to understand his emotions – nonverbal communication. Convolutional neural network technology was selected for development of automatic emotion recognition software. Its purpose is effective recognition of images – outputs of hidden intermediate layers form the matrix (image) or set of matrices – several layers of image. Three image layers are fed to input of convolutional neural network, which are processed separately, and compared with images from database. Authors studied modern emotion analyzer programs, both domestic and foreign, and existing datasets for training convolutional neural networks, synthesized and trained the model. For software implementation, it was decided to use Python programming language version 3, with Anaconda distribution, as well as Jupiter Notebook integrated development environment, OpenCV and TensorFlow modules. Testing was carried out, where functionality of software was demonstrated. When discussing the results of work, it was noted that it is emotions that drive human behavior, including destructive actions. It is important for law enforcement agencies. This software tool is used in many areas: to determine impact of advertising on buyer, to find out reaction of audience to films, performances, shows, etc. In the field of education, it can be studied the mood and attention of students during classes. In working with staff, it is possible to determine emotional state of employee – to notice his fatigue, dissatisfaction, readiness for conflict in timely manner, and to redistribute tasks more effectively. It can be used in medicine, in patients’ rehabilitation; and in robotics aimed at service sector and working with clients, etc.</p>
      </abstract>
      <kwd-group xml:lang="ru">
        <kwd>искусственный интеллект</kwd>
        <kwd>искусственные нейронные сети</kwd>
        <kwd>технология свёрточных нейронных сетей</kwd>
        <kwd>нейросетевая система распознавания эмоций</kwd>
        <kwd>датасет</kwd>
        <kwd>изображения</kwd>
        <kwd>эмоции</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>artificial intelligence</kwd>
        <kwd>artificial neural networks</kwd>
        <kwd>convolutional neural network technology</kwd>
        <kwd>neural network emotion recognition system</kwd>
        <kwd>dataset</kwd>
        <kwd>images</kwd>
        <kwd>emotions</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <ref>
        <note>
          <p>1. Kovtun Yu.A., Cherckesova L.V., Safaryan O.A. etc. Methodology for Neural Networks Training at Analyzing the Context of Event at Emotions Recognizing. 2022 Robotics, Machinery and Engineering Technology for Precision Agriculture. Smart Innovation, Systems and Technologies. 2022. Vol. 247. P. 65-71. Springer, Singapore. DOI: 10.1007/978-981-16-3844-2_8/.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>2. Dhall A., Goecke R., Ghosh S., etc. From Individual to Group–Level Emotion Recognition: EmotiW 5.0. Proceedings of the 19th ACM International Conference on Multimodal Interaction. Glasgow, United Kingdom. 2017. P. 524-528. DOI: 10.1145/3136755.3143004.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>3. Rassadin A., Gruzdev A., Savchenko A. Group–Level Emotion Recognition Using Transfer Learning from Face Identification. Proceedings of the 19th ACM International Conference on Multimodal Interaction. Glasgow, United Kingdom. 2017. P. 544-548. DOI: 0.1145/3136755.3143007.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>4. Goodfellow J., Erhan D., Carrier P.L. etc. Challenges in Representation Learning: Report on Three Machine–Learning Contests. 2013. P. 59-63. DOI: 10.1016/j.neunet.2014.09.005.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>5. Tan L., Zhang K., Wang K., etc. Group Emotion Recognition with Individual Facial Emotion Convolutional Neural Networks and Global Image Based Convolutional Neural Networks. Proceedings of the 19th ACM International Conference on Multimodal Interaction. Glasgow, United Kingdom. 2017. P. 549-552. DOI: 10.1145/3136755.3143008.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>6. Xie Y., Dai W., Hu Z., etc. A Novel Convolutional Neural Network Architecture for SAR Target Recognition. Journal of Sensors. 2019. Art. 1246548. DOI: 10.1155/2019/1246548.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>7. Hu P., Ramanan D. Finding Tiny Faces. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA. 2017. P. 1522-1530. DOI: 10.1109/CVPR.2017.166.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>8. Leinhart R., Maydt J. Extended Set of Haar–Like Features for Rapid Object Detection // Proceedings. International Conference on Image Processing. Rochester, New York, USA. 2002. Vol. 1. DOI: 10.1109/ ICIP.2002.1038171.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>9. Zhai J., Dong G., Chen F. etc. Deep Learning Fusion Recognition Method Based On SAR Image Data. Procedia Computer Science. 2019. Vol. 147. P. 533-541. DOI:10.1016/j.procs.2019. 01.229.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>10. Pujol F., Mar J.-M., Pujol A.J., etc. Face Detection Based on Skin Color Segmentation Using Fuzzy Entropy. Entropy. 2017. Vol. 19. P. 1-22. DOI: 10.3390/e19010026.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>11. Купряшкин И.Ф. Влияние разрешающей способности радиолокационных изображений военной техники на точность их классификации глубокой сверточной нейронной сетью // Известия высших учебных заведений России. Радиоэлектроника. 2022. Т. 25. № 1. С. 36-46. DOI: 10.32603/1993-8985-2022-25-1-36-46.</p>
        </note>
      </ref>
    </ref-list>
  </back>
</article>
