Злость, страх и силуэты. Мэрия Москвы раскрыла, какие алгоритмы распознают людей по лицам

В московской системе видеонаблюдения, которая помогает находить преступников и оппозиционеров, задействованы не один, а сразу четыре алгоритма распознавания лиц. В том числе - тот, который помогает силовикам Беларуси находить противников режима Александра Лукашенко. Алгоритмы, используемые в Москве, соревнуются между собой на точность и быстроту. В ближайшие два года на них потратят почти 800 млн рублей.

В середине августа государственный телеканал "Москва-24" дважды с гордостью отчитался о возможностях системы видеонаблюдения в столичной подземке. Сначала там рассказали, как с помощью камер удалось найти карманницу, которая на станции "Пролетарская" украла у девушки кошелек. Потом - как видеонаблюдение помогло поймать мужчину, ночью избившего человека у одной из станций.

Технических деталей поиска в сюжетах не раскрывают, но известно, что с осени 2020 года в московском метро работает система распознавания лиц. К ней же подключены и городские камеры видеонаблюдения, включая камеры у подъездов. Система работает в обе стороны: можно загрузить фотографию и понять, где человек бывал, а можно отследить маршрут конкретного человека и в конечном счете установить его личность.

Но есть примеры использования этой системы, о которых "Москва-24" и другие медиа столичной мэрии предпочитают не рассказывать. Например, на последний День России - 12 июня 2022 года - полицейские задержали в московском метро не менее 43 человек, явно опасаясь акций протеста, подсчитал проект "ОВД-Инфо" (признан в России иноагентом). Среди них были журналисты и активисты, фотографии которых в системе явно были маркированы особым образом. В таком случае как только нужный человек заходит на станцию, система сообщает об этом правоохранительным органам.

Про московскую систему распознавания лиц ранее было известно, что в ее основу легла технология от компании NtechLab, долей в которой владеет Ростех. Однако на самом деле в системе используют сразу четыре технологии, выяснила Би-би-си. В том числе ту, что работала в Беларуси во время подавления протестов 2020 года. Вместе они умеют распознавать не только лица, но даже эмоции людей.

Суть тендеров

В середине лета АО "Электронная Москва", подведомственное московской мэрии, опубликовало четыре контракта на услуги по "индексации данных" в "городском сегменте единой системы видеоаналитики". Контракты заключались с единственным поставщиком, без конкурса и публикации какой-либо документации, но известна общая сумма: около 800 млн рублей. Потратить эти деньги предстоит в течение двух лет.

Если перевести с компьютерно-бюрократического языка на нормальный, то речь идет о техподдержке и обслуживании системы видеоаналитики, говорит разработчик одного из алгоритмов распознавания лиц, которую использует московская мэрия.

Благодаря этим контрактам наконец можно с точностью сказать, какие именно технологии использует московская мэрия: каждый договор заключается на определенный алгоритм распознавания лиц, его название указано на сайте госзакупок. Один из них, как и было известно ранее, был разработан NtechLab. Остальные оказались тоже российскими: Tevian FaceSDK, VisionLabs Luna Platform и Kipod.

Так или иначе информация об их возможном участии в проекте ранее появлялась в медиа, но впервые их названия были раскрыты мэрией публично и в одном месте.

Изначально при запуске системы распознавания лиц в Москве в ней было три алгоритма, а потом добавился еще и четвертый - Kipod, подтвердил Би-би-си разработчик одного из них. Разработчик другого, в свою очередь, добавил, что технически использование сразу нескольких алгоритмов вполне возможно.

Задействуя сразу четыре алгоритма, мэрия могла стремиться повысить эффективность системы распознавания, рассуждает исполнительный директор общественной организации "Роскомсвобода" Артем Козлюк. Кроме того, тогда меньше зависимости от конкретного поставщика - если, например, какая-то компания попадет под санкции или откажется от сотрудничества из-за опасений, что таковые будут наложены.

Что умеют эти технологии?

Kipod - разработка российско-белорусской компании "Синезис". Ее корни - в минском парке высоких технологий, главной площадки знаменитого белорусского IT-бума. Чуть позднее появился и офис в подмосковном "Сколково".

Изначально компания занималась разработками программного обеспечения на заказ (например, участвовала в создании мессенджера Viber), но потом стала делать собственные продукты. Система интеллектуального видеонаблюдения Kipod - один из них.

Именно Kipod стал основной технологией распознавания лиц, которая была внедрена белорусскими властями в стране и помогала местными силовикам находить тех, кто участвовал в акциях протеста против Александра Лукашенко в Минске в 2020 году. В итоге и "Синезис", и один из основателей компании Александр Шатров попали под санкции ЕС и США - за предоставление белорусским властям платформы для слежки и идентификации противников режима, следует из официальных документов ЕС.

На своем сайте "Синезис" подтверждает, что именно Kipod работает на станциях московского метрополитена. Помимо поиска по фотографии, она, по утверждению разработчиков, может найти человека по приметам - нужно указать его примерный возраст, пол, расу, носит ли он очки, бороду или усы.

С помощью камер, подключенных к Kipod, белорусские силовики, например, якобы смогли выследить и задержать оппозиционного блогера Николая Дедка, сообщал проект ByPOL (объединяет бывших сотрудников правоохранительных органов Беларуси).

В феврале 2022 ByPOL выпустил большое видеорасследование, посвященное Kipod. В нем, в частности, обнародована аудиозапись телефонного разговора между, как утверждает ByPOL, двумя высокопоставленными белорусскими силовиками.

"Там про процентному соотношению можно искать совпадения. 100% вообще редко когда выдает что-то, обычно от 50% до 80% работаем, а когда ниже снижаешь, их очень много, и нужно в ручном режиме отсматривать [...]. Когда в Kipod выдает "совпад", оно показывает этот кусочек видео. Его нажимаешь, открываешь - и можно посмотреть фрагмент записи метро перехода конкретного человека, на кого "совпад" дает, как он выглядит", - делится один из них опытом работы с алгоритмом.

В самой компании впоследствии косвенно подтвердили подлинность разговора, отметив, что на нем речь идет о поимке преступника, напавшего в Минске с ножом на женщину.

В "Синезисе" вообще комментируют каждую публикацию о работе Kipod в Беларуси, активно используя такие слова, как "фейк" и "постправда", а решение ЕС о вводе санкций оспорили в суде.

"Массово устанавливать участников протестов позволяет мобильная связь, соцсети, фото в СМИ. Kipod построен на абсолютно иной логике и предназначен для поиска заведомо идентифицируемых людей - людей в розыске, пропавших без вести и т.д. Фейк основан на технологических фобиях граждан и бытовой логике", - так, например, там комментируют обвинения в том, что алгоритм распознавания лиц от "Синезис" использовался для поиска белорусских оппозиционеров.

Две российские компании

Еще один алгоритм, который, судя по сайту госзакупок, используется в Москве, - VisionLabs Luna Platform. Его разработчик, "Вижнлабс", начала работать в недрах российского "Сколково", но быстро заинтересовала крупных инвесторов - АФК "Систему" Владимира Евтушенкова и Сбербанк. В 2021 году компания полностью перешла под контроль "дочки" мобильного оператора МТС, основной владелец которого - все та же "Система".

Система распознавания лиц от "ВижнЛабс" используется нескольким десятком российских банков - в частности, Альфа-банком: благодаря ей потенциального клиента проверяют в "черных списках" бюро кредитных историй еще до того, как он что-либо спросил и представил свои документы. Среди других пользователей алгоритма - Сбербанк, "Почта банк" и "Тинькофф", а также российская структура американского бюро кредитных историй Equifax.

Luna, как и Kipod, определяет такие параметры лица, как возраст, пол, расовая принадлежность и даже "эмоции", следует из инструкции для пользователей.

Платформа - официальный партнер московской мэрии в проекте Face Pay. В рамках него пассажиры московской подземки могут закачать свое селфи в специальное мобильное приложение, привязать к своему профилю банковскую карту и проходить в метро по одному взгляду в камеру.

Проект стартовал осенью 2021 года, однако мэрия начала использовать алгоритм от "ВижнЛабс" в городской системе видеонаблюдения и раньше: в компании это подтверждали, но без деталей.

Четвертый алгоритм, задействованный в московской системе видеонаблюдения, - FaceSDK от московской компании Tevian. Это еще один резидент "Сколково", основанный выходцами из лаборатории мультимедиа факультета вычислительной математики и кибернетики МГУ.

Достижения этой компании чуть скромнее, чем у других: например, если у "ВижнЛабс" выручка в 2021 году приближалась к 1 млрд, но у Tevian - лишь к 200 млн рублей. В собственном описании к возможностям алгоритма компания отдельно оговаривает, что FaceSDK способен определять эмоции на лице людей - "злость, страх, грусть, радость, удивление".

"Отдельный, более быстрый алгоритм определения наличия улыбки", - говорится в документе. В ближайшие два года на определение эмоций тех, кто ходит по московским улицам, мэрия потратит почти 200 млн рублей - именно столько выделено на использование FaceSDK в городской системе видеонаблюдения - впрочем, как и на все остальные алгоритмы.

Аукцион алгоритмов

Все четыре алгоритма задействуются мэрией одновременно, рассказали Би-би-си в департаменте информационных технологий Москвы.

"Какого-либо распределения видеопотоков между алгоритмами - нет. Видеопотоки с камер одновременно обрабатываются всеми четырьмя алгоритмами. Далее по специальной формуле высчитывается результат работы всех алгоритмов в совокупности", - заявили в ведомстве.

Такой подход позволяет "объединить сильные стороны каждого разработчика" и повысить "точность распознавания", гордятся в мэрии.

Подрядчик департамента информационных технологий рассказал Би-би-си, что, по его данным, задания на видеоаналитику распределяются между поставщиками через систему квот. "Логика там максимально рыночная. Есть облако, внутри него все эти парни соревнуются качеством алгоритмов и ценой. Идет постоянное рейтингование и перераспределение квот, кто сколько обрабатывает и зарабатывает", - утверждает он.

В начале 2021 года АО "Электронная Москва" закупило специальную программу, которая позволяет оценивать алгоритмы распознавания в автоматическом режиме. Разработчик этой системы рейтингования - компания "Амтех", постоянный победитель IT-тендеров московской мэрии.

Из описания системы следует, что она оценивает алгоритмы по "скорости, точности и эффективности работы". Скорее всего, именно о ней и говорит источник Би-би-си: в техзадании на закупку системы было указано, что она должна уметь работать с FindFace, VisionLabs LUNA, Tevian FaceSDK и Kipod.

Именно на эти алгоритмы "Электронная Москва" теперь потратит почти 800 млн рублей в течение двух лет. К ним нужно добавить еще около 100 млн, которые "Электронная Москва" выделила на другие составляющие городской системы видеоаналитики, в том числе видеодетектор для поиска силуэтов людей в кадре.

В Tevian и "Синезисе" (алгоритм Kipod) не ответили на вопросы Би-би-си. В "ВижнЛабс" перенаправили за ответами в департамент информационных технологий.

Системы от МВД

Городская система видеонаблюдения - не единственный проект московской мэрии, который, с одной стороны, облегчает жизнь горожан (в данном случае помогает найти преступников), а с другой - помогает преследовать неугодных и инакомыслящих (в данном случае позволяет задерживать оппозиционеров на входе в метро).

У московской мэрии есть почти 190 разнообразных информационных систем, с помощью которых она собирает и анализирует информацию о гражданах, домах, автомобилях, торговых палатках, детских площадках и о всем прочем, из чего состоит жизнь города.

Она анализирует поведение пользователей в сети городского Wi-Fi и на многочисленных сайтах мэрии. Уже несколько лет ведется работа над единой системой, которая умеет извлекать данные из всех ресурсов и платформ московского правительства. Причем работает она по принципу машинного обучения, то есть сама учится решать поставленную задачу.

Например, еще в 2018 году с помощью нее мэрия искала квартиры, которые сдаются в аренду без договора. Для поиска "серых" квартир система анализировала информацию о регистрации людей, сотовые данные, данные о парковках, а также просматривала историю коммунальных платежей, платежей за детский сад и другие образовательные услуги, рассказывал Би-би-си бывший сотрудник мэрии.

"Допустим, вы зарегистрированы в одном месте, а за садик и электричество платите в другом, где одновременно еще и паркуетесь", - объяснял он принципы анализа.

Аналогичную систему, которая аккумулировала бы данные из разных источников, власти пытались создать и на федеральном уровне, указано в свежем отчете проекта "Сетевые свободы" о технологиях слежки за гражданами.

Речь идет о системе "ИБД-Ф 2.0", разработкой которой занималось МВД. Она должна была заменить устаревшую "ИБД-Ф", объединяющую полицейские базы всех регионов России. Новую систему планировалось подключить к базам других государственных ведомств - вплоть до информации о поездках на общественном транспорте и биометрических данных.

Госконтракт был заключен еще в 2020 году, однако недавно, в июле, он был расторгнут в связи с "неисполнением условий".

Но при этом, как отмечают в "Сетевых свободах", у МВД остались другие системы: например, у ГУ МВД по Москве есть "Учетно-заградительная система - М", которая позволяет проводить сквозной поиск по массивам других баз и формировать контрольные списки граждан, представляющих оперативный интерес. А помогает найти их городская система видеонаблюдения, подключенная к системе распознавания лиц.

22 августа на входе в московское метро опять весь день задерживали граждан, ранее участвовавших в акциях протеста (всего - 33 человека). В "ОВД-Инфо" такую активность связывали с Днем российского флага - возможно, силовики опасались митингов.

Причем как минимум одного гражданина, Сергея Выборова, взяли даже не на входе, а уже в вагоне. Большинство отпускали без особых объяснений и протоколов, но одну - Светлану Гетию - оштрафовали за надпись "Я против войны" на одежде.

Кадры из городской системы видеонаблюдения есть и в ролике ФСБ о Наталье Вовк - по версии спецслужбы, убийцы Дарьи Дугиной, дочери философа и идеолога "русского мира" Александра Дугина. На этих кадрах Вовк заходит в подъезд московского дома, система маркирует ее как "чужую" - соответствующая пометка на экране. Это значит, что ранее она не была замечена среди жителей этого дома - многие московские подъезды оборудованы камерами, подключенными к системе распознавания лиц.

8 октября 2021 года власти России внесли корреспондента Би-би-си Андрея Захарова в реестр СМИ, выполняющих функции иностранного агента. 17 января 2022 года этот статус был приостановлен по решению суда до окончания процесса по поданному Андреем иску.