Решение задачи тематической классификации текстов в сети Интернет включает в себя ряд последовательных этапов: извлечение данных из ресурса в сети Интернет, их обработку математическими методами и наглядное представление результата. В настоящее время автоматическая классификация становится все более важной задачей, как с теоретической, так и с прикладной точек зрения, и имеет широкий диапазон применения. Одно из направлений – тематическая классификация, предполагает автоматическое определение темы новостной статьи, реализованное с помощью методов семантического анализа текста. Целью работы является исследование и реализация методов латентно-семантического и вероятностного латентно-семантического анализа, для определения тематики новостных статей. В работе описана реализация указанных методов и сравнительная проверка их работоспособности на нескольких примерах.
The problem of thematic classification of the Internet texts include a number of tasks: the extraction of data from a resource on the Internet, processing this data by mathematical methods and presentation of results. In addition, automatic classification is becoming more important now days. Automatic theme identification of news article can be implemented using text semantic analysis methods. The aim of this work is to research and implement two methods (latent semantic method and probabilistic latent semantic method to analysis) to determine the subject of news articles. The results of this work show that these methods can be used for thematic classification of news articles.
1. Воронова Л.И., Исаков В.А., Катина Т.С. Проектирование информационной системы организации мониторинга и контроля качества образовательных программ для методического управления РГГУ // В сборнике: Современные информационные технологии в профессиональной деятельности СИТ – 2015 Московский финансово-юридический университет МФЮА. 2015. – С. 27–33.
2. Воронцов К.В. Вероятностные тематические модели коллекции текстовых документов. URL: www.machinelearning.ru/wiki/images/2/22/Voron-2013-ptm.pdf (дата обращения: 10.10.2016).
3. Коршунов А., Гомзин А. Тематическое моделирование текстов на естественном языке // Труды ИСП РАН. 2012.
4. О сервисе Яндекс-Новости [Электронный ресурс]. – Режим доступа: yandex.ru/support/news/ (дата обращения: 10.11.2016).
5. Парсинг html-сайтов с помощью PHP, Ruby, Python [Электронный ресурс]. – Режим доступа: http://parsing.valemak.com/ru/what-why-how/stages-of-parsing/(дата обращения: 09.11.2016).
6. Пестряев А.А., Воронова Л.И., Воронов В.И. Проектирование мультиагентной системы для сбора текстовой информации из сети // Вестник РГГУ. Серия: Документоведение и архивоведение. Информатика. Защита информации и информационная безопасность. – 2015. – № 12 (155). – С. 43–56.
7. Пестряев А.А., Воронова Л.И. Мультиагентная система.взаимодействия агента-собирателя с базой данных// Современные наукоемкие технологии. – 2014. – № 5–2. – С. 214–217.
8. Рейтинг новостных порталов. [Электронный ресурс]. – Режим доступа: www.liveinternet.ru/rating/ru/media/ (дата обращения: 01.11.2016).
9. Российский интернет прибавил темпы роста [Электронный ресурс]. – Режим доступа: https://www.vedomosti.ru/technology/articles/ 2016/04/13/637574-rossiiskii-internet-tempi-rosta (дата обращения: 18.11.2016).
10. Солошенко А.Н., Орлова Ю.А., Розалиев В.Л. Автоматическое выделение сюжетов и тем из потока новостных сообщений // Известия ВолгГТУ. – 2015. – № 2 (157).
11. Thomas Hofmann, Probabilistic Latent Semantic Indexing // Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in en: Information Retrieval (SIGIR-99), 1999.
12. Voronova L.I. «EXPERT LIST» subsystem design for methodical department of RSUH // International journal of applied and fundamental research. – 2015. – № 2. – С. 24930.
13. Readings in Latent Semantic Analysis for Cognitive Science and Education [Электронный ресурс]. – Режим доступа: lpnc.univ-grenoble-alpes.fr/resources/benoit_lemaire/lsa.html (дата обращения: 10.11.2016).