В данном исследовании целью было изучение эффективности моделей объединенных долгосрочной рекуррентной сверточной сети и сети долгой краткосрочной памяти в задаче распознавания насилия в видеофрагментах. Проводится оценка способности этих моделей обнаруживать и классифицировать насилие на видео. Для обучения был создан пользовательский набор данных из 150 помеченных видео открытого набора данных Violence Detection in Videos и 50 собственных видеофрагментов, размеченных на два класса (насилие и ненасилие). Для обучения использовались два типа сетей долгой краткосрочной памяти: однонаправленная и двунаправленная сети. Далее рассматривается эффективность объединенной архитектуры в распознавании насилия на видео, на базе оценки способности этих моделей обнаруживать и классифицировать насильственный контент в видео, а также анализ влияния различных параметров на их точность и скорость. Результаты исследования показывают, что модели сети долгой краткосрочной памяти совместно с рекуррентной нейросетью могут эффективно распознавать насилие на видео, особенно при использовании длинных и коротких временных масштабов. Для проекта используется модель сверточной сети дальнего действия, которая сочетает в себе преимущества сверточных сетей и рекуррентных нейронных сетей для извлечения объектов из видеокадров и анализа временных связей между ними. Модель сверточной сети дальнего действия с двунаправленной долговременной памятью оказалась более эффективна при получении как пространственной, так и временной информации, а также прошлого и будущего контекста места происшествия, что приводит к улучшению обнаружения признаков насилия. Это исследование способствует разработке более точных и эффективных систем видеоанализа, которые могут быть полезны в различных областях применения, таких как наблюдение и безопасность. Потери при обучении и валидации с использованием нейросетей с архитектурой двунаправленной памяти стремятся к нулю, что подтверждает точность и эффективность данного алгоритма.

This study examines In this study, the aim was to investigate the effectiveness of combined long-term recurrent convolutional networks and long short-term memory networks in the task of violence recognition in video fragments. An evaluation was conducted on the ability of these models to detect and classify violence in videos. A custom dataset was created for training, consisting of 150 labeled videos from the open dataset “Violence Detection in Videos” and 50 of our own video fragments annotated into two classes (violence and non-violence). Two types of long short-term memory networks were used for training: unidirectional and bidirectional networks. The effectiveness of the combined architecture in recognizing violence in videos is examined based on the assessment of these models’ ability to detect and classify violent content, as well as the analysis of the impact of various parameters on their accuracy and speed. The results indicate that LSTM models combined with recurrent neural networks can effectively recognize violence in videos, particularly when using both long and short temporal scales. The project employs a long-range convolutional network model that combines the advantages of convolutional networks and recurrent neural networks for object extraction from video frames and analysis of temporal relationships between them. The long-range convolutional network model with bidirectional long-term memory proved to be more effective in obtaining both spatial and temporal information, as well as past and future context of the incident, which leads to improved detection of violence indicators. This research contributes to the development of more accurate and efficient video analysis systems that can be beneficial in various application areas, such as surveillance and security. The losses during training and validation using neural networks with bidirectional memory architecture approach zero, confirming the accuracy and effectiveness of this algorithm.