Журнал Современные наукоемкие технологии 1812-7320 Общество с ограниченной ответственностью "Издательский Дом "Академия Естествознания" ART-36585 ПРОГРАММЫ-КРАУЛЕРЫ ДЛЯ СБОРА ДАННЫХ О ПРЕДСТАВИТЕЛЬСКИХ САЙТАХ ЗАДАННОЙ ПРЕДМЕТНОЙ ОБЛАСТИ – АНАЛИТИЧЕСКИЙ ОБЗОР Печников А.А. Pechnikov A.A. pechnikov@krc.karelia.ru Сотенко Е.М. Sotenko E.M. katherinmail@gmail.com ФГБУН «Институт прикладных математических исследований Карельского научного центра Российской академии наук» Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences ФГБОУ ВО «Санкт-Петербургский государственный университет» St. Petersburg State University 21 02 2017 2 58 62 This is an open-access article distributed under the terms of the CC BY 4.0 license. https://top-technologies.ru/article/view?id=36585

Анализ данных, представленных в Вебе, – распространенная на сегодняшний день исследовательская задача. Для её решения необходимы программы-инструменты, позволяющие собирать данные из Веба. Для обозначения таких программ часто используется термин «краулер». Сегодня существует широкий спектр известных краулеров, и в ряде случаев это позволяет не писать с нуля новые, а использовать существующие программы. Если это краулеры с открытым кодом, то их можно дорабатывать под цели конкретных задач, формирующиеся и видоизменяющиеся в процессе исследования. В данной работе в качестве альтернативы рассмотрены несколько краулеров, из которых требуется сделать выбор наиболее подходящего для решения задачи сбора данных с некоторого заданного ограниченного множества представительских сайтов (таких, например, как сайты гостиниц). Приводятся основные требования, предъявляемые к краулерам, и их классификация по основным типам. Дается аналитический обзор наиболее популярных краулеров, для которых в качестве одного из главных критериев отбора является наличие открытого исходного кода. В результате проведенного анализа проведен отбор трех наиболее перспективных краулеров.

The analysis of data, presented in Web, widely spread nowadays research task. In order to solve it usually used programs, gathering data from the Web, which are called «crawlers». There are a lot of already built crawlers, that allows not to write your own, but use one of existing instead. Some crawlers are open source that allows to modify them in case they don’t provide required functionality. This paper provides the overview of several crawlers in order to solve the task of gathering the data from set of official sites (for example, official sites of hotels). Also were provided main requirements, which crawlers must meet, crawler’s classification and analysis of their functionality. Is the crawler open source – was one of the main criteria of crawler’s selection. The result of performed analysis was the selection of three most perspective crawlers.

 Интернет Веб сбор данных о Вебе краулер открытое программное обеспечение Internet Web web data collection crawler open source

1. Apache Cassandra. http://cassandra.apache.org (дата обращения: 06.02.2017).

2. Apache Lucene. http://lucene.apache.org (дата обращения: 06.02.2017).

3. Apache Nutch™. http://nutch.apache.org (дата обращения: 01.03.2017).

4. Apache Hadoop. https://wiki.apache.org/hadoop (дата обращения: 06.02.2017).

5. Bar-Ilan J. Data collection methods on the Web for infometric purposes: A review and analysis // Scientometrics. January 2001. – Vol. 50(1). – Р. 7–32.

6. Best Open Source: 36 best open source web crawler projects. http://www.findbestopensource.com/tagged/webcrawler start=0 (дата обращения: 11.01.2017).

7. Bixo – Web Mining Toolkit. https://openbixo.files.wordpress.com/2010/01/bixo-web-mining-talk-at-hug.pdf (дата обращения: 02.02.2017).

8. Cascading | Application Platform for Enterprise Big Data. http://www.cascading.org (дата обращения: 06.02.2017).

9. Data Warehousing Overview. http://dwreview.com/DW_Overview.html (дата обращения: 06.02.2017).

10. Examples using Common Crawl Data. http://commoncrawl.org/the-data/examples (дата обращения: 06.02.2017).

11. Granados N.F., Kauffman R.J., King B. The Emerging role of vertical search engines in travel distribution: a newly-vulnerable electronic markets perspective // Proceedings of the 41st Hawaii International Conference on System Sciences. – 2008. – P. 389.

12. GitHub – yasserg/crawler4j: Open Source Web Crawler for Java. https://github.com/yasserg/crawler4j (дата обращения: 01.03.2017).

13. Home – arachnode.net. http://arachnode.net (дата обращения: 01.03.2017).

14. Khurana D., Kumar S. Web Crawler: A Review // International Journal of Computer Science & Management Studies. – 2012. – № 12–1. – P. 401–405.

15. Leading Enterprise Java Web Framework | ZK. https://www.zkoss.org (дата обращения: 06.02.2017).

16. Norconex HTTP Collector. http://www.norconex.com/product/collector-http (дата обращения: 01.03.2017).

17. Olston C., Najork M. Web Crawling // Foundations and Trends in Information Retrieval. – 2010. – Vol. 4, № 3. – P. 175–246.

18. OpenSearchServer | Open Source Search Engine and Search API. http://www.open-search-server.com (дата обращения: 01.03.2017).

19. Papavassiliou V., Prokopidis V., Thurmair G. A modular open-source focused crawler for mining monolingual and bilingual corpora from the web // Proceedings of the 6th Workshop on Building and Using Comparable Corpora., Sofia, August 8, 2013. – P. 43–51.

20. Performance Benchmark. https://arachnode.net/blogs/arachnode_net/archive/2008/12/31/performance-benchmark-etc.aspx (дата обращения: 4.02.2017).

21. Performance Tuning. https://arachnode.net/blogs/arachnode_net/archive/2015/04/12/performance-tuning.aspx (дата обращения: 04.02.2017).

22. RFC 3986 – Uniform Resource Identifier (URI). 2005. https://tools.ietf.org/html/rfc3986 (дата обращения: 04.02.2017).

23. Ricardo A., Serrao C. Comparison of existing open-source tools for Web crawling and indexing of free Music // Journal of telecommunications. – 2013. – № 18–1. https://ru.scribd.com/doc/123153248/Comparison-of-existing-open-source-tools-for-Web-crawling-and-indexing-of-free-Music.

24. Scrapinghub Platform. http://scrapinghub.com/platform (дата обращения: 12.01.2017).

25. Scrapy A Fast and Powerful Scraping and Web Crawling Framework. http://scrapy.org (дата обращения: 01.03.2017).

26. Sharma G., Sharma S., Singla H. Evolution of web crawler its challenges // International Journal of Computer Technology and Applications. – 2016. – № 9(11). – P. 5357–5368.

27. Top 50 open source web crawlers for data mining. http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining (дата обращения: 11.01.2017).

28. Udapure T.V., Kale R.D., Dharmik R.C. Study of Web Crawler and its Different Types // Journal of Computer Engineering. 2014. № 16-1. http://iosrjournals.org/iosr-jce/papers/Vol16-issue1/Version-6/A016160105.pdf.

29. Web Crawling with Apache Nutch. http://events.linuxfoundation.org/sites/events/files/slides/aceu2014-snagel-web-crawling-nutch.pdf (дата обращения: 05.02.2017).

30. Wget – GNU Project – Free Software Foundation. http://www.gnu.org/software/wget (дата обращения: 01.03.2017).