<?xml version="1.0" encoding="UTF-8"?>
<article xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="JATS-archive-oasis-article1-4.xsd" article-type="research-article" dtd-version="1.4" xml:lang="ru">
  <front>
    <journal-meta>
      <journal-title-group>
        <journal-title>Журнал Современные наукоемкие технологии</journal-title>
      </journal-title-group>
      <issn>1812-7320</issn>
      <publisher>
        <publisher-name>Общество с ограниченной ответственностью &amp;quot;Издательский Дом &amp;quot;Академия Естествознания&amp;quot;</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.17513/snt.40113</article-id>
      <article-id pub-id-type="publisher-id">ART-40113</article-id>
      <title-group>
        <article-title>Применение генеративно-состязательных сетей в непарном переносе изображений</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Массеров</surname>
              <given-names>Д.Д.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Masserov</surname>
              <given-names>D.D.</given-names>
            </name>
          </name-alternatives>
          <email>masserovggg@gmail.com</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Массеров</surname>
              <given-names>Д.А.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Masserov</surname>
              <given-names>D.A.</given-names>
            </name>
          </name-alternatives>
          <email>masserow@yandex.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Лядунов</surname>
              <given-names>К.А.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Lyadunov</surname>
              <given-names>K.A.</given-names>
            </name>
          </name-alternatives>
          <email>kirill_molotov88@mail.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Перков</surname>
              <given-names>А.А.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Perkov</surname>
              <given-names>A.A.</given-names>
            </name>
          </name-alternatives>
          <email>aperekov@inbox.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
      </contrib-group>
      <aff id="aff1">
        <institution xml:lang="ru">ФГБОУ ВО «Национальный исследовательский Мордовский государственный университет имени Н.П. Огарёва»</institution>
        <institution xml:lang="en">National Research Mordovia State University named after N.P. Ogarev</institution>
      </aff>
      <pub-date date-type="pub" iso-8601-date="2024-08-06">
        <day>06</day>
        <month>08</month>
        <year>2024</year>
      </pub-date>
      <issue>8</issue>
      <fpage>63</fpage>
      <lpage>69</lpage>
      <permissions>
        <license xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This is an open-access article distributed under the terms of the CC BY 4.0 license.</license-p>
        </license>
      </permissions>
      <self-uri content-type="url" hreflang="ru">https://top-technologies.ru/article/view?id=40113</self-uri>
      <abstract xml:lang="ru" lang-variant="original" lang-source="author">
        <p>В данной статье рассматриваются несколько методов использования генеративно-состязательных сетей для переноса непарных изображений, исследуя различные архитектуры генераторов и дискриминаторов, а также функций потерь и гиперпараметров, которые влияют на качество сгенерированных изображений у моделей без учителя. Целью исследования был анализ современных методов непарного переноса изображений для его дальнейшего совершенствования. Литературный обзор включал в себя в основном базу поиска arXiv preprint arXiv, временной промежуток поиска составил 1985–2024 гг., было проанализировано 37 англоязычных источников, из них 12 указаны в списке литературы. Для проведения исследования были выбраны три модели: циклическая генеративно-состязательная сеть, контрастный непарный перенос, фиксированное/обученное самоподобие – из-за их эффективности в области переноса изображений и сходства в архитектуре. В ходе анализа были рассмотрены особенности каждой генеративно-состязательной сети для определения преимуществ и недостатков. Авторы установили, что основная разница между методами в том, что они используют разные типы потерь для обучения генеративной сети. Циклическая генеративно-состязательная сеть использует циклическую структуру с двумя генераторами и двумя дискриминаторами и потери цикловой согласованности, чтобы обеспечить более точные отображения при большем количестве затрат памяти и времени. Контрастный непарный перенос отказывается от сетей обратного отображения и дискриминаторов, используя контрастное обучение на уровне признаков для более легкой структуры модели. Фиксированное/обученное самоподобие также использует контрастную функцию потерь, но вместо того, чтобы сравнивать признаки в определенном слое, сравнивает пространственно-корреляционные карты для более точных результатов и в то же время быстрого обучения. Были установлены недостатки этих методов, неспособность циклической генеративно-состязательной сети значительно менять форму объектов, а недостаток контрастного непарного переноса в том, что модель не может отличать специфические для домена признаки от признаков внешнего вида. Данная статья представляет собой перспективный материал для научных исследований, направленных на улучшение качества сгенерированных изображений и эффективности процесса переноса изображений.</p>
      </abstract>
      <abstract xml:lang="en" lang-variant="translation" lang-source="translator">
        <p>This article discusses several methods for using generative-adversarial networks to transfer unpaired images, exploring different architectures of generators and discriminators, as well as loss functions and hyperparameters that affect the quality of the generated images in teacherless models. The goal of the study was to analyze current methods for unpaired image transfer in order to improve them. The literature review mainly included the arXiv preprint arXiv, the time span of the search was 1985-2024, and it analyzed 37 English-language sources, of which 12 were cited in the reference list. Three models were selected for the study: a cyclic generative-adversarial network, contrastive unpaired transfer, and fixed/learned self-similarity, because of their effectiveness in image transfer and similarity in architecture. The characteristics of each generative-adversarial network were examined to determine advantages and disadvantages. The authors found that the main difference between the methods is that they use different types of losses to train the generative network. The cyclic generative-adversarial network uses a cyclic structure with two generators and two discriminators and cyclic consistency loss to produce more accurate mappings at a higher memory and time cost. The contrastive unpaired transfer network abandons backward mappings and discriminators and uses feature-level contrastive learning for simpler model structure. Fixed/learned self-similarity also uses a contrastive loss function, but instead of comparing features in a given layer, it compares the spatial correlation maps for more accurate results and faster learning time. The shortcomings of these methods have been identified, the inability of the cyclic generative adversarial network to significantly change the shape of the objects, and the contrastive unpaired transfer in that the model cannot distinguish between domain-specific features from appearance features. This paper presents a promising contribution to research efforts aimed at improving the quality of generated images and the efficiency of the image transfer process.</p>
      </abstract>
      <kwd-group xml:lang="ru">
        <kwd>генеративно-состязательная сеть</kwd>
        <kwd>циклическая генеративно-состязательная сеть</kwd>
        <kwd>контрастный непарный перенос</kwd>
        <kwd>фиксированное/обученное самоподобие</kwd>
        <kwd>функции потерь</kwd>
        <kwd>цикловая согласованность</kwd>
        <kwd>уровень признаков</kwd>
        <kwd>домен</kwd>
        <kwd>перенос изображений</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>generative-adversarial network</kwd>
        <kwd>cyclic generative-adversarial network</kwd>
        <kwd>contrast unpaired transfer</kwd>
        <kwd>fixed/learned self-similarity</kwd>
        <kwd>loss functions</kwd>
        <kwd>cyclic consistency</kwd>
        <kwd>feature level</kwd>
        <kwd>domain</kwd>
        <kwd>image transfer</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <ref>
        <note>
          <p>1. Alqahtani H., Kavakli-Thorne M., Kumar G. Applications of generative adversarial networks (GANs): An updated review // Archives of Computational Methods in Engineering. 2021. Vol. 28. P. 525–552. DOI: 10.1007/s11831-019-09388-y.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>2. Mukherjee A. et al. Generative semantic domain adaptation for perception in autonomous driving // Journal of big data analytics in transportation. 2022. Vol. 4. P. 103–117. DOI: 10.1007/s42421-022-00057-4.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>3. Ren C.X., Ziemann A., Theiler J., Alice M.S. Durieux A.M. Deep snow: synthesizing remote sensing imagery with generative adversarial nets // Algorithms, Technologies, and Applications for Multispectral and Hyperspectral Imagery XXVI. 2020. DOI: 10.1117/12.2560716.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>4. Mirza M., Osindero S. Conditional generative adversarial nets // arXiv preprint arXiv: 1411.1784. 2014. DOI: 10.48550/arXiv.1411.1784.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>5. Zheng C., Cham T.J., Cai J. The spatially correlative loss for various image translation tasks // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 16402–16412. DOI: 10.1109/CVPR46437.2021.01614.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>6. Zhu J.Y., Zhang R., Pathak D., Darrell T., Efros A.A., Wang O., Shechtman E. Toward multimodal image-to-image translation // In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS’17). Curran Associates Inc., Red Hook, NY, USA. 2017. P. 465–476. DOI: 10.48550/arXiv.1711.11586.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>7. Zhang K. On mode collapse in generative adversarial networks // Artificial Neural Networks and Machine Learning–ICANN 2021: 30th International Conference on Artificial Neural Networks, Bratislava, Slovakia, September 14–17, 2021, Proceedings, Part II 30. Springer International Publishing, 2021. P. 563–574. DOI: 10.1007/978-3-030-86340-1_45.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>8. Oord A., Li Y., Vinyals O. Representation learning with contrastive predictive coding // arXiv preprint arXiv: 1807.03748. 2019. DOI: 10.48550/arXiv.1807.03748.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>9. Bachman P., Hjelm R.D., Buchwalter W. Learning Representations by Maximizing Mutual Information Across Views Learning representations by maximizing mutual information across views // Proceedings of the 33rd International Conference on Neural Information Processing Systems. Curran Associates Inc., Red Hook, NY, USA. 2019. P. 15535–15545. DOI: 10.48550/arXiv.1906.00910.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>10. Hénaff O.J., Srinivas A., Fauw J., Razavi A., Doersch C., Eslami S.M. et al. Data-efficient image recognition with contrastive predictive coding // In Proceedings of the 37th International Conference on Machine Learning (ICML’20). 2020. Vol. 119. P. 4182–4192. DOI: 10.48550/arXiv.1905.09272.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>11. Taigman Y., Polyak A., Wolf L. Unsupervised cross-domain image generation // arXiv preprint arXiv: 1611.02200. 2016. DOI: 10.48550/arXiv.1611.02200.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>12. Park T., Efros A.A., Zhang R., Zhu J.Y. Contrastive learning for unpaired image-to-image translation // Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, Part IX 16. 2020. P. 319–345. DOI: 10.1007/978-3-030-58545-7_19.</p>
        </note>
      </ref>
    </ref-list>
  </back>
</article>
