В статье рассматриваются вопросы создания систем автоматизированной обработки текстов. Отмечено, что имеющиеся на рынке системы практически полностью удовлетворяют потребности пользователей. Показано, что при программной реализации в зависимости от назначения системы используются различные современные методы и технологии, с общим названием «технологии искусственного интеллекта». Однако все эти технологии совершенно не учитывают особенности текстов на естественном языке и не имеют общего, характерного для человеческого интеллекта признака – универсальности, т.е. отсутствует возможность их применения для решения любой задачи. Для разрешения данного вопроса предлагается использование алгоритмов на основе систем с предопределенной семантикой. Описаны основные понятия подобных систем и базовые алгоритмы их реализации. В основе алгоритмов лежат данные лингвистики о структуре предложений на естественном языке. В результате экспериментов с программным прототипом показано, что после обучения создаваемая система практически автоматически учитывает основные особенности естественной речи и позволяет с высокой степенью надежности идентифицировать тексты, различного содержания. Показано, что заложенные в систему алгоритмы обладают высокой степенью универсальности и могут быть использованы для создания приложений различного назначения.

The article considers the problems of developing natural language processing systems. The authors outline that current systems on the market almost satisfy users’ needs. These systems are developed by means of various modern methods and technologies, depending on the purpose of the system, with the general name of artificial intelligence technologies. However, all these technologies do not consider the peculiarities of natural language texts and do not have a common characteristic of human intelligence – flexibility, i.e. they provide no possibility to solve any problem. To resolve this issue, the authors suggest using algorithms based on systems with predefined semantics. The article describes basic concepts of such systems and basic algorithms for their implementation. At the core of algorithms is linguistic data about the structure of sentences in a natural language. As a result of experiments with a prototype program product the authors demonstrate that the system after a learning process almost automatically considers basic peculiarities of natural speech and identifies texts with different content with a high degree of reliability. The article shows that the algorithms embedded in the system have a high degree of flexibility and can be used to create applications for various purposes.