Данная статья посвящена разработке метода мультимодального сентимент-анализа. Сентимент-анализ, известный также как анализ тональности, традиционно применяется в текстовой форме для выявления настроений в социальных медиа, потребительских отзывах и других областях, где критически важно понимание человеческих эмоций. Однако традиционные одномодальные подходы, ограничивающиеся только текстом, часто не учитывают нюансы, передаваемые интонациями, жестами или мимикой, доступные в аудио- и видеоданных. Разработка мультимодального метода сентимент-анализа открывает новые возможности для систем управления и принятия решений в организациях. Интеграция разнородных данных обеспечивает комплексное понимание человеческих эмоций, что позволяет повысить точность и обоснованность принятия управленческих решений. Использование мультимодального метода способствует более точному определению настроений и предпочтения клиентов, что является одним из ключевых факторов для поддержки принятия решений в области стратегического планирования и управления изменениями. С учетом современных достижений в области компьютерного зрения и обработки естественного языка в данной статье предлагается к рассмотрению комплексная методика, объединяющая текстовые, аудио- и видеоданные для создания полной картины эмоционального состояния. Предложенный подход позволяет не только улучшить точность определения тональности, но и глубже понять ее контекст и вариативность. Представленный подход мультимодального сентимент-анализа демонстрирует, как технологии машинного обучения могут синергетически взаимодействовать для обработки разнородных данных, предоставляя возможности для исследования в области социальных медиа, маркетинга и бизнеса, а включение мультимодального анализа в процессы принятия решений предоставляет организациям механизм для улучшения их стратегической гибкости и оперативной эффективности.

This article is devoted to the development of a method of multimodal sentiment analysis. Sentiment analysis, also known as sentiment analysis, has traditionally been used in text form to identify moods in social media, consumer reviews, and other areas where understanding human emotions is critically important. However, traditional single-modal approaches, limited only to text, often do not take into account the nuances conveyed by intonation, gestures or facial expressions available in audio and video data. The development of a multimodal method of sentiment analysis opens up new opportunities for management and decision-making systems in organizations. The integration of heterogeneous data provides a comprehensive understanding of human emotions, which improves the accuracy and validity of management decisions. The use of the multimodal method contributes to a more accurate determination of customer attitudes and preferences, which is one of the key factors for strategic planning and change management. Using modern advances in computer vision and natural language processing, this article offers a comprehensive methodology that combines text, audio and video data to create a complete picture of the emotional state. The proposed approach makes it possible not only to improve the accuracy of determining tonality, but also to better understand their context and variability. The presented approach of multimodal sentiment analysis demonstrates how machine learning technologies can work synergetically to process heterogeneous data, providing opportunities for research in the field of social media, marketing and business, and the inclusion of multimodal analysis in decision-making processes provides organizations with a tool to improve their strategic flexibility and operational efficiency.