Тема настоящего исследования находится на пересечении областей работы с геоданными, инфографики и исследования социальных явлений в различных слоях общества. Кроме того, важным элементом является сбор и анализ видеоданных с городских камер наблюдения с целью дальнейшего использования их для принятия решений в задачах ситуационного управления [1].

Ежедневно на инфраструктурных объектах происходят события, требующие ведения систематического контроля [1]. Ситуационным управлением называют деятельность уполномоченных органов, при которой решения и управляющие воздействия основываются на анализе вариантов возможных решений с учетом: текущего состояния объекта управления, располагаемых вариантов действий и прогноза последствий принимаемых управленческих воздействий. Принципы систем управления позволяют извлечь максимум выгоды для лица, принимающего решение, исходя из особенностей конкретных управленческих ситуаций, совокупности всех внешних и внутренних факторов, которые определяют условия функционирования объекта управления, что позволяет принимать и реализовывать решения не в некие установленные плановые периоды, а по мере возникновения проблем [1].

Актуальность исследования обусловлена сложной ситуацией в области реагирования на проблемы граждан, т.к. роль автоматизированных интеллектуальных систем в данной сфере в нашей стране на текущий момент мала. Научная новизна работы заключается в использовании методов распознавания объектов на видео с городских камер наблюдения для обнаружения дорожных ситуаций, требующих решения задач ситуационного управления. Внедрение данных методов позволит оперативно консолидировать информацию о реальном состоянии городской транспортной системы и предоставлять ответственным лицам актуальную информацию о происходящих событиях, а в будущем и оперативно предлагать возможные методы урегулирования ситуации. Практической ценностью работы следует считать возможность снижения фактора человеческих ошибок, автоматизацию сбора данных и сокращения времени реагирования на происходящие события.

Таким образом, целью работы является ускорение анализа состояния системы городской дорожной инфраструктуры за счет автоматизации сбора данных о его изменении с помощью методов распознавания объектов на кадрах видеопотока с камер наблюдения.

Материалы и методы исследования

Примерами ситуаций, порождающих задачи ситуационного управления, могут служить следующие ситуации на дорогах [2; 3]:

– заторы на дорогах [2];

– ДТП [2; 3];

– загруженность общественного транспорта и мест его ожидания;

– загрязнённость (засорённость) городских территорий [4].

В рамках настоящей статьи было решено сконцентрироваться на распознавании автомобилей на кадрах видеопотока, снятого с камер наблюдения за городскими дорогами.

Для решения задач распознавания дорожной обстановки часто применяются методы машинного обучения [5-7], в частности искусственные нейронные сети (далее – «нейросети») [8]. В рамках настоящего исследования было также принято решение для распознавания автомобилей на кадрах видеопотока использовать нейросеть Mask R-CNN [9; 10], работающую по принципу сегментации изображений, а также библиотеку OpenCV для работы с графической информацией [11] для визуализации данных. Пример применения нейросети Mask R-CNN в связке с OpenCV для решения задачи распознавания людей на изображениях представлен на рисунке 1.

Алгоритм работы разработанного на базе Mask R-CNN и OpenCV инструмента включает следующие шаги:

1) получение входного видеопотока;

2) разбиение видеопотока на отдельные кадры с помощью функций OpenCV;

3) обработка полученного массива кадров нейросетью Mask R-CNN для распознавания объектов на нём;

4) визуализация.

В результате визуализации сегментированные нейросетью кадры [9; 10] будут вновь «собраны» средствами OpenCV [11] в единые изображения, после чего на них будут наложены полученные нейросетью данные, такие как идентификатор (ID) объекта, вероятность верного обнаружения объекта, рамка видимого объекта и сама маска. Затем полученный массив кадров будет вновь объединён в цельный видеопоток. Для наглядности результатов было принято решение накладывать на объекты в каждый момент времени маски различного цвета, что позволит явно отслеживать изменения наблюдаемого видео. В качестве средства реализации инструмента был выбран язык программирования Python.

Рис. 1. Пример работы нейросети Mask R-CNN

Изначально было принято решение использовать публично доступную предварительно обученную на наборе данных MS COCO [12] модель нейросети Mask R-CNN. Данная модель обучена распознавать на изображениях не только транспортные средства, но и самые разнообразные другие объекты [12]. В рамках решения задач настоящего исследования список интересующих классов был ограничен следующими: человек, автомобиль (в том числе грузовики и автобусы), велосипед и дорожное полотно.

В процессе первичного тестирования было обнаружено, что выборка MS COCO, использованная при обучении открыто доступной модели, включает транспорт только иностранного происхождения. Как следствие, данная модель оказалась неспособна с достаточной точностью распознавать на кадрах видеопотока, к примеру, автомобили марки «ГАЗель». Модель идентифицировала представителей данной автомобильной марки как «грузовик» (truck) c точностью ~53%, «автобус» (bus) c точностью ~57% и «автомобиль» (car) с точностью ~55%, однако такой результат нельзя было назвать удовлетворительным.

Было принято решение о сборе дополнительных фото- и видеоданных с участием представителей данной автомобильной марки для дополнительного обучения модели [13; 14]. Решение этой задачи также было призвано подготовить почву для дальнейшего распознавания автомобилей скорой помощи, часто являющихся представителями той же автомобильной марки с несколькими дополнительными отличительными признаками.

Сбор данных проходил на площадке города Волгограда собственными силами без привлечения внешних источников в течение зимне-весеннего периода. Выбор временного промежутка для сбора данных был обусловлен замыслом ввести для модели следующие дополнительные условия:

– в указанный период автомобили достаточно загрязнены, чтобы усложнить их распознавание, однако успешное решение этой задачи в дальнейшем увеличит точность модели: усложненные данные должны повысить эффективность обучения;

– модель будет подготовлена к реальным ситуациям: поскольку данный вид транспорта эксплуатируется в достаточно тяжелых условиях, его внешний вид, по статистике, будет чаще именно загрязнённым.

Итогом сбора данных стали 3 гигабайта изображений и 10 гигабайт видеоматериалов с участием автомобилей «ГАЗель» в различных ракурсах. Следует уточнить, что количество видеоматериала было невелико, и такой объём данных обусловлен качеством изображения, снятого камерой высокого разрешения. Решение о сборе данных именно такого качества было принято для упрощения ручной работы разметки отдельных кадров. Примеры полученных в результате сбора данных фото- и видеоданных приведены на рисунках 2 и 3.

Рис. 2. Пример собранных фотоданных

Рис. 3. Пример собранных видеоданных

Результаты исследования и их обсуждение

Для апробации и отладки модели распознавания объектов была необходима дополнительная тестовая выборка фото- и видеоданных с реальных систем городского видеонаблюдения. В качестве площадки для тестирования был также выбран город Волгоград. С получением доступа к муниципальным камерам городского видеонаблюдения возникли сложности, было решено перейти к рассмотрению сторонних сервисов общественного наблюдения. В конечном итоге выбор пал на проект «Город на ладони» от компании Powernet [15]. Данный проект по запросу предоставляет доступ к просмотру данных, полученных с общественных камер видеонаблюдения, расположенных на дорогах города Волгограда, города Волжского и других населённых пунктов Волгоградской области. Небольшим недостатком в данном случае можно считать тот факт, что камеры расположены на большой высоте над дорожным полотном: такое удаление камер может оказывать некоторый негативный эффект на качество распознавания из-за размеров объектов в кадре. Для получения доступа к данным было отправлено формальное обращение к сотрудникам Powernet. В результате были получены записи с участков ул. им. Константина Симонова – ул. 8-й Воздушной Армии и ул. 30-летия Победы – ул. Константина Симонова. Общая продолжительность полученных видеоматериалов составила порядка 20 часов.

Также следует упомянуть проведённый для нужд настоящего исследования мониторинг данных сервиса «Яндекс.Пробки» (расширение «Яндекс.Карт») с целью сбора информации о ситуации на автомобильных дорогах города Волгограда и Волжского. Было выявлено, что для дорожной сети характерна пиковая нагрузка по понедельникам, четвергам и пятницам в промежутки времени с 8:00 до 10:00 и с 16:00 до 19:00 часов. На основе собранной информации была сформирована почасовая выборка данных, характеристика которой приводится в таблице.

Пропуск отдельных временных промежутков означает отказ от использования данных за данный промежуток в связи с их малой рентабельностью на фоне данных за пиковые часы нагрузки на дорожную сеть.

Выборка видеоданных по часам

Рис. 4. Определение ДТП на кадрах видеопотока

Рис. 5. Определение затора на кадрах видеопотока

На рисунках 4 и 5 представлены примеры работы разработанного инструмента: определение ДТП и транспортного затора на кадрах видеопотока.

В дальнейшем получаемые от модели данные можно будет использовать не только для детектирования дорожных ситуаций, приводящих к возникновению задач ситуационного управления, но и для поддержки принятия решений в подобных задачах как применительно к управлению транспортными потоками города, так и, например, для решения задач построения экологически чистых маршрутов (в обход участков с обнаруженными с помощью обученной модели загрязнениями и/или автомобильными заторами, порождающими загрязнение воздуха) [4].

Выводы

В результате проведённого исследования были получены следующие выводы:

1) при тестировании системы для распознавания дорожных заторов были выявлены следующие недостатки:

− в связи с количеством автомобилей типа «ГАЗель» на дорогах, несмотря на дополнительное обучение модели, вероятность ложноположительных и ложноотрицательных распознаваний моделью данного вида объектов в транспортном потоке по-прежнему сохраняется, из-за чего возможно некорректное наложение и отображение масок объектов;

− поскольку камеры расположены на значительном удалении от дорожного полотна, распознаваемые объекты могут иметь достаточно небольшой размер (можно пронаблюдать на рисунке 4), вследствие чего сохраняется вероятность ложноположительных и ложноотрицательных распознаваний;

2) при тестировании системы на кейсе загруженности остановочных пунктов значимых недостатков выявлено не было;

3) при тестировании системы для распознавания загрязненности участков дорожного полотна были выявлены следующие недостатки:

− некорректное наложение маски на объекты, относящиеся к типу «отходы», в связи с удаленностью камеры от объекта;

4) затраты времени на анализ состояния системы городской инфраструктуры сократились с часов (время, затраченное на ручную обработку видео для обучающей выборки) до минут.

В результате проведенного исследования был создан инструмент детектирования и распознавания дорожных ситуаций, требующих оперативного решения задачи ситуационного управления. Также был произведён сбор данных, сформирована и использована выборка фото- и видеоматериалов для дополнительного обучения нейросети Mask R-CNN распознаванию автомобилей модели «ГАЗель», а также проведено тестирование полученной модели на реальных данных, собранных с действующих камер видеонаблюдения за дорожной сетью города Волгограда.

Авторы выражают благодарность коллегам по лаборатории городских вычислений UCLab и кафедре «Цифровые технологии в урбанистике, архитектуре и строительстве» ИАиС ВолгГТУ, принимавшим участие в разработке проекта.