<?xml version="1.0" encoding="UTF-8"?>
<article xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="JATS-archive-oasis-article1-4.xsd" article-type="research-article" dtd-version="1.4" xml:lang="ru">
  <front>
    <journal-meta>
      <journal-title-group>
        <journal-title>Журнал Современные наукоемкие технологии</journal-title>
      </journal-title-group>
      <issn>1812-7320</issn>
      <publisher>
        <publisher-name>Общество с ограниченной ответственностью &amp;quot;Издательский Дом &amp;quot;Академия Естествознания&amp;quot;</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.17513/snt.40000</article-id>
      <article-id pub-id-type="publisher-id">ART-40000</article-id>
      <title-group>
        <article-title>ТЕХНОЛОГИЯ ПАРСИНГА ДАННЫХ С ПРИМЕНЕНИЕМ НЕЙРОСЕТИ И АЛГОРИТМА WEB-ДРАЙВЕРА</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Егармин</surname>
              <given-names>П.А.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Egarmin</surname>
              <given-names>P.A.</given-names>
            </name>
          </name-alternatives>
          <email>egarmi@yandex.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Панов</surname>
              <given-names>Р.Е.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Panov</surname>
              <given-names>R.E.</given-names>
            </name>
          </name-alternatives>
          <email>jimkrauz@gmail.com</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Ахматшин</surname>
              <given-names>Ф.Г.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Akhmatshin</surname>
              <given-names>F.G.</given-names>
            </name>
          </name-alternatives>
          <email>farid.lfsibgtu.ru@mail.ru</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Егармина</surname>
              <given-names>А.П.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Egarmina</surname>
              <given-names>A.P.</given-names>
            </name>
          </name-alternatives>
          <email>alena.egarminamail.ru@gmail.com</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name xml:lang="ru">
              <surname>Золотухина</surname>
              <given-names>И.Т.</given-names>
            </name>
          </name-alternatives>
          <name-alternatives>
            <name xml:lang="en">
              <surname>Zolotukhina</surname>
              <given-names>I.T.</given-names>
            </name>
          </name-alternatives>
          <email>irinalsib88@gmail.com</email>
          <xref ref-type="aff" rid="aff1"/>
        </contrib>
      </contrib-group>
      <aff id="aff1">
        <institution xml:lang="ru">Лесосибирский филиал Сибирского государственного университета науки и технологий имени академика М.Ф. Решетнева</institution>
        <institution xml:lang="en">Lesosibirsk Branch of Reshetnev Siberian State University of Science and Technology</institution>
      </aff>
      <pub-date date-type="pub" iso-8601-date="2024-05-30">
        <day>30</day>
        <month>05</month>
        <year>2024</year>
      </pub-date>
      <issue>5</issue>
      <fpage>26</fpage>
      <lpage>30</lpage>
      <permissions>
        <license xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This is an open-access article distributed under the terms of the CC BY 4.0 license.</license-p>
        </license>
      </permissions>
      <self-uri content-type="url" hreflang="ru">https://top-technologies.ru/article/view?id=40000</self-uri>
      <abstract xml:lang="ru" lang-variant="original" lang-source="author">
        <p>Технология парсинга используется в информационных сервисах или приложениях для автоматического сбора данных из различных источников в Интернете в целях последующей обработки и анализа. Однако в работе традиционных парсеров можно выявить ряд недостатков: сложность работы с сайтами, содержащими динамические элементы; ограничения в извлечении информации с последующим структурированием данных. Технология парсинга данных с использованием нейросети и веб-драйвера может решить указанные проблемы. Применение веб-драйвера позволит корректно обращаться с динамическими элементами веб-страниц и получать актуальные данные после их загрузки. Обращение к нейросети во время парсинга может улучшить точность извлечения данных из нерегулярных и сложных страниц, структурировать информацию, полученную от первичного парсинга. Разработанное на основе технологии приложение может быть адаптировано под решение задач в различных предметных областях: службы занятости населения (поиск актуальных вакансий с учетом имеющихся компетенций), приемные комиссии вузов (поиск потенциальных абитуриентов), риелторские компании (парсинг сообществ социальных сетей и сайтов по продаже недвижимости с целью изучения рынка недвижимости и последующего формирования объявлений о продаже недвижимости).</p>
      </abstract>
      <abstract xml:lang="en" lang-variant="translation" lang-source="translator">
        <p>Parsing technology is used in information services or applications to automatically collect data from various sources on the Internet for subsequent processing and analysis. However, a number of disadvantages can be identified in the work of traditional parsers: the complexity of working with sites containing dynamic elements; limitations in extracting information with subsequent data structuring. Data parsing technology using a neural network and a web driver can solve these problems. Using a web driver will allow you to correctly handle dynamic elements of web pages and get up-to-date data after they are loaded. Accessing the neural network during parsing can improve the accuracy of data extraction from irregular and complex pages, and structure the information obtained from primary parsing. The application developed on the basis of technology can be adapted to solve problems in various subject areas: employment services (search for relevant vacancies, taking into account existing competencies), university admissions committees (search for potential applicants), real estate companies (parsing communities of social networks and real estate sites in order to study the real estate market and the subsequent formation of announcements about real estate sales).</p>
      </abstract>
      <kwd-group xml:lang="ru">
        <kwd>парсинг</kwd>
        <kwd>нейросеть</kwd>
        <kwd>web-драйвер</kwd>
        <kwd>классификация данных</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>parsing</kwd>
        <kwd>neural network</kwd>
        <kwd>web driver</kwd>
        <kwd>data classification</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <ref>
        <note>
          <p>1. Ермоленко А.В., Котелина Н.О., Старцева Е.Н., Юркина М.Н. О востребованности подготовки в области парсинга данных для web-разработчиков // Вестник Сыктывкарского университета. Серия 1. Математика. Механика. Информатика. 2021. № 1 (38). С. 56-69.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>2. Меньшиков Я.С. Преимущества автоматического сбора данных в сети интернет над ручным сбором данных // Universum: технические науки. 2022. № 10 (103). URL: https://7universum.com/ru/tech/archive/item/14383 (дата обращения: 05.03.2024).</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>3. Суханов А.А., Маратканов А.С. Анализ способов сбора социальных данных из сети Интернет // International scientific review. 2017. № 1 (32). С. 25-28.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>4. Крамаров С.О., Овсянников В.А., Сахарова Л.В., Усатый Р.С., Лукьянова Г.В. Автоматизированный сбор данных ключевых финансовых показателей предприятий IT-отрасли региона // Вестник кибернетики. 2022. № 3 (47). С. 39-45. DOI: 10.34822/1999-7604-2022-3-39-45.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>5. Angelo Borsotti, Luca Breveglieri, Stefano Crespi Reghizzi, Angelo C. Morzenti General parsing with regular expression matching // Journal of Computer Languages. 2022. Vol. 2.2. DOI: 10.1016/j.cola.2022.101176.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>6. Mengtian Yin, Llewellyn Tang, Chris Webster, Jinyang Li, Haotian Li, Zhuoquan Wu, Reynold C.K. Cheng Two-stage Text-to-BIMQL semantic parsing for building information model extraction using graph neural networks // Automation in Construction. 2023. Vol. 152. DOI: 10.1016/j.autcon.2023.104902.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>7. Ruopeng An, Yuyi Yang, Fan Yang, Shanshan Wang Mlwa Use prompt to differentiate text generated by ChatGPT and humans // Machine Learning with Applications. 2023. Vol. 14. DOI: 10.1016/j.mlwa.2023.100497.</p>
        </note>
      </ref>
      <ref>
        <note>
          <p>8. Biao Zhao, Weigiang Jin, Javier Del Ser, Guang Yang Neucom Exploring potentials of ChatGPT on cross-linguistic agricultural text classification // Neurocomputing. 2023. Vol. 557. DOI: 10.1016/j.neucom.2023.126708.</p>
        </note>
      </ref>
    </ref-list>
  </back>
</article>
