Применение детектора курения на транспорте

Ранее мы рассказывали про детекцию курения посредством объектовой видеоаналитики. Попробуем теперь рассмотреть практические аспекты применения данных решений и конкретные отрасли внедрения, а также их преимущества для бизнеса.

На наш взгляд самой интересной сферой применения является транспорт, в частности – каршеринг, где уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. Возвращаясь к сравнению объектовой видеоаналитики и датчиков, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.

Помимо этого, на транспорте можно каскадом (последовательно) применять несколько нейронных сетей, таких как детекция курения и детекция факта/времени использования мобильного телефона. Понятно, что дальше подобные системы должны масштабироваться, например, с интеграцией телематики и подключением к CAN-шине автомобиля для отслеживания использования телефонов только при движении ТС, но это уже детали интеграции.

Наглядный пример, что конкретно детектируем и что получаем в итоге:

Демонстрация на ботах в Телеграме (вход – картинка с камеры смартфона или из галереи, выход – вероятность):

• Детекция курения
• Детекция использования телефона водителем

Аппаратная составляющая

Если в первой статье мы говорили об Intel NUC и серверах на их основе, как вычислителях для инференса, то сейчас мы говорим об эксплуатации решения в транспортных средствах, то есть появляется влияние погодных условий (жара, холод, точка росы и т.д.). Хорошее решение оказалось у AAEON, VPC-3350S:

Конкретно наша версия – с процессором Intel Atom x5 E3940. Инференс – на MyriadX на плате расширения. FPS в инференсе:

Тесты декодера:

Чем хороша железка и почему наш выбор пал на нее?

Нам понравилось:

• Наличие встроенного LTE-модуля.
• Наличие возможности расширения VPU ускорителем Intel MyriadX.
• Встроенная графика Intel HD Graphics 500, на которой можно использовать аппаратные декодеры и энкодеры для обработки видеопотоков.
• Наличие множества LAN-портов для прямого подключения сетевых камер без необходимости установки коммутатора.
• Широкий эксплуатационный температурный диапазон (-20+70).

Как это работает?

1. На автомобиле устанавливаются сетевые камеры с питанием по Ethernet, POE (одна на водителя или две: водитель, пассажир).
2. Данные с камер поступают напрямую на вычислитель, в данном случае AAEON NVR 3350.
3. На вычислителе выполняется декодирование и нарезка видеопотока на фреймы.
4. Фреймы с заданным делителем кадровой частоты обрабатываются нейронной сетью.
5. Нейронная сеть возвращает вероятность события (курение или наличие телефона в руках). Каждое изображение пропускается через эти нейронные сети последовательно. Если одна из них выдала вероятность выше, условно, 50%, то фотография и запись об этом фиксируется во временной таблице в базе данных (в памяти).
6. На основе количества повторяющихся событий фиксируется время действия/нарушения.
7. Если время действия превышает заданную константу (10 секунд), то происходит фиксация факта события в базе данных. Событие включает следующую информацию:
   • дата, время
   • фотография факта нарушения
   • длительность события в сек.
   • идентификатор ТС (статичный GUID)
   • номер камеры (0, 1)
   • тип события
8. Данные о событиях по факту наличия 3G/LTE передаются на центральный сервер обработки данных с интеграцией с существующей информационной системой каршеринга для проведения билинговых операций.

Вместо резюме

В статье мы постарались поделиться опытом реализации и интеграции решений в области ИИ на примере транспортной инфраструктуры. Что самое главное, большинство объектов автоматизации уже оснащено камерами, и можно обрабатывать существующие потоки без какой-либо существенной модернизации.