Совместное использование интеллектуального видеоанализа и сенсоров глубины в прогнозировании возникновения нештатных ситуаций на железнодорожном транспорте

В настоящее время остается актуальной проблема обеспечения безопасности на объектах РЖД, а именно, выявление подозрительных лиц, а также лиц, находящихся в состоянии алкогольного и наркотического опьянения, которые могут представлять опасность для жизни и здоровья окружающих.

Задача выявление потенциально опасных лиц осуществляется представителями полиции по данным, полученным при помощи систем биометрической идентификации на базе камер наружного наблюдения. Основным недостатком такого типа систем является то, что информация о нарушителе может не содержаться в базе данных, используемой для биометрической идентификации.

Хотя в настоящее время разработчиками систем видеонаблюдения предлагаются алгоритмы, позволяющие, как отслеживать забытые вещи на перронах, так и выявлять объекты на пути следования поезда, а также обнаруживать возникновение задымлений, следует отметить, что в подавляющем большинстве случаев данные с камер видеонаблюдения применяются лишь для формирования архивов видеозаписей, а возможности интеллектуального видеоанализа данных с удаленных объектов практически не используются. Это обусловлено, в частности, техническими трудностями, связанными с применением на практике интеллектуальных систем видеонаблюдения, а именно чувствительностью алгоритмов классификации к условиям освещенности, наличию вибрации, которая неизбежна при эксплуатации на железнодорожном транспорте, и т.п.

Отдельно следует выделить задачу обеспечения безопасности на перронах мало загруженных стаций пригородного сообщения, особенно в ночное время. При этом, в случае возникновения внештатной ситуации оказавшемуся в беде человеку может быть некому помочь по причине отсутствия других пассажиров. В связи с этим актуальной является задача разработки технических средств, способных в автоматизированном режиме выявить внештатную ситуацию и подать оповещающий сигнал дежурному по станции.

В рамках данной работы разработана позволяющая решить данную задачу многоканальная система, в состав которой входит видеокамера и сенсор глубины. При помощи данной системы с участием добровольцев была собрана база данных различных типов двигательной активности, включая имитацию внештатных ситуаций. Обработка экспериментальных данных проводилась с использованием методов машинного зрения и глубокого обучения.

Регистрируемые системой записи представлялись в виде последовательности кадров (рис. 1), в каждом из которых при помощи нейронных сетей осуществлялся поиск узловых точек (рис. 2). Координаты данных точек, а также соответствующие им данные для канала глубины (рис. 3) были использованы при разработке алгоритма выявления внештатных ситуаций.

Рис. 1. Исходные данные, регистрируемые видеокамерой

Рис. 2. Кадр видеозаписи с найденными ключевыми точками

Рис. 3. Кадр карты глубины с ключевыми точками, найденными по видеозаписи

Полученные в рамках выполнения проекта результаты позволяют утверждать, что дополнение видеоканала каналом глубины повышает точность алгоритма интеллектуального видеоанализа распознавания нештатных ситуаций, однако экономическая целесообразность такого решения требует дополнительной оценки, так как выигрыш в точности ограничен 10 % по сравнению с использованием для решения данной задачи только данных видеоканала. В случае же, когда предполагается распознавание только агрессивного поведения на фоне повседневной двигательной активности, использование канала глубины не требуется, так как предложенный в рамках проекта алгоритм позволяет классифицировать данный тип двигательной активности со 100 % точностью.

Разработанный в рамках данного проекта алгоритм интеллектуального анализа может быть в дальнейшем интегрирован в используемые на РЖД системы видеонаблюдения с целью снижения нагрузки на оператора, выявления нештатных ситуаций и оперативного реагирования на них. Например, разработанные в рамках выполнения работ по данному проекту алгоритмы, обученные с применением методов машинного обучения, которые позволяют выявлять падения человека и агрессивного поведения, могут быть особенно востребованными для мониторинга мало загруженных перронов и железнодорожных переходов без дежурного.

Публикации по проекту:

1. Анищенко Л.Н., Ивашов С.И., Скребков А.В. Интеллектуальный видеоанализ опасных ситуаций. Мир транспорта. 2017. Том 15, №6(73). С. 182–193.
2. Анищенко Л.Н., Журавлев А.В., Разевиг В.В., Чиж М.А. Бесконтактное автоматизированное выявление агрессивного поведения человека при помощи многоканального комплекса //Биомедицинская радиоэлектроника. 2019. № 6. С. 66–74.
3. Lesya Anishchenko, Irina Alborova, and Maria Dremina, Discriminant Analysis in Bioradar-based Fall Event Classification// Proc. of Int. Conf. IEEE COMCAS. Tel Aviv, Israel, November 13-15, 2017. 4p.
4. Lesya Anishchenko, Machine Learning in Video Surveillance for Fall Detection // Proc. of Int. Conf. USBEREIT IEEE 2018. Ekaterinburg, Russia, May 7-8, 2018. p. 99-102.
5. Lesya Anishchenko, Andrey Zhuravlev, Vladimir Razevig, Margarita Chizh, Viktor Alekseev, Alexey Skrebkov, "Multi-channel complex for non-contact aggressive movement detection," Proc. of 2019 PhotonIcs & Electromagnetics Research Symposium (PIERS), Rome, Italy, 2019, June 17-20. In press.