Немного об истории фотоакустической прослушки
Корнями методы прослушки такого типа уходят в глубь вековисследования инженера закрытого туполевского КБ и пионера электронной музыки, Льва Термена. Который ещё в середине сороковых годов прошлого столетия разработал систему “Буран”, которая при помощи отраженных ИК-лучей была способна осуществлять прослушку по вибрации оконных стекол. Этот же принцип в дальнейшем лег в основу лазерных микрофонов. Однако метод был не совершенен. Наличие звукопоглотительных преград перед источником звука предотвратило достаточное дрожание стекла для того, чтобы осуществлять сколько-нибудь полезный съём информации.
лазерный микрофон конца 80-х
Появление видеокамер с высоким разрешением и частотой обновления кадров открыли новые возможности для прослушки. Звуковые волны, сталкиваясь с поверхностью предметов, вызывают незаметные глазу колебания.
Для их распознания может применятся камера с высоким разрешением и частотой обновления кадров от 60 fps. Три года назад группа исследователей из Массачусетского технологического смогли преобразовать видео, снятое с частотой 2200 fps в звук мелодии, которая проигрывалась в помещении в момент съемки. В дальнейшем было обнаружено, что с меньшей эффективностью метод можно применять даже с частотой обновления 60 fps.
У этого метода также были ограничения. Во первых — это стоимость камер с высокой и сверхвысокой частотой обновления. Во вторых — есть проблемы со скоростью обработки изображения, снятого с такой частотой кадров, объемные видеофайлы требуют долгой обработки, длительность которой напрямую зависит от аппаратных мощностей. Это ограничивает возможность использования метода realtime.
Камеры с существующим разрешением практически не позволяют использовать съём на значительном расстоянии, ограничивая его 5-6 метрами до объекта.
Суть нового метода
Израильские ученые решили усовершенствовать метод американцев, сфокусировали съем на конкретном объекте при помощи телескопа и заменили дорогую камеру на недорогой фотодиод. Дрожание воздуха при разговоре вызывает микровибрации лампочки, что в свою очередь вызывает не заметные, но существенные для чувствительной аппаратуры изменения освещённости. Свет улавливается телескопом и преобразуется фотодиодом в электрический сигнал. При помощи программного аналогово-цифрового преобразователя сигнал записывают в виде спектрограммы, которая обрабатывается написанным исследователями алгоритмом и затем конвертируется в звук.
Работоспособность метода исследователи проверили лабораторным опытом, в котором прикрепили к лампочке гироскоп и воспроизводили звуки с частотой от 100 до 400 Гц в одном сантиметре от объекта. Колебания лампочки были небольшими и составляли от 0,005 до 0,06 градуса (отклонение составляла в среднем от 300 до 950 микрон), но главное было в том, что они значительно отличались в зависимости от частоты и уровня звукового давления, а соответственно, существует зависимость колебаний от характеристик распространяющихся звуковых волн.
Колебания в вертикальной и горизонтальной плоскости были очень маленькими (300–950 микрон), но изменялись в зависимости от частоты и громкости подаваемого звука, что означает, что лампочка, пусть и едва заметно, но все же колеблется от распространяющихся рядом звуковых волн, а ее колебания зависят от их характеристик.
Измерения и эксперимент
Измерения данных с фотодиода показали приблизительные изменения тока при колебаниях лампочки на разных расстояниях между ней и телескопом. Выяснили, что при использовании 24-битного преобразования колебания лампочки на 300 микрон в плоскости вызывают изменение напряжения на 54 микровольта, чего вполне достаточно для передачи тестового спектра (100 — 400 Гц) на значительном (несколько десятков метров) расстоянии при помощи оптики использованного телескопа. Также отсутствие звука отражается на спектрограмме оптического сигнала от лампочки в виде пика в 100 Герц (что вызвано её частотой мерцания). Эту особенность также внесли в алгоритм.
Сам алгоритм действует последовательно. На первом этапе он работает как фильтр информационно не значимых частот, таких как частота мерцания, а затем выделяет спектр, соответствующий речи. После этого устраняет частотные признаки посторонних шумов, подобно стандартным денойзерам в диктофонах и студийных рекордерах. Обработанная таким образом спектрограмма конвертируется в звук сторонней программой.
Созданный учеными Lamphone в текущей версии позволяет в реальном времени восстанавливать речь и музыку из помещения, находящегося в 25 метрах от места наблюдения. Это объективно доказано следующим экспериментом, установку, оснащенную любительским телескопом с 20-см объективом установили на мосту, в 25 метрах от окна в комнату, где размещалась лампа. Неподалеку от лампы воспроизвели песни The Beatles «Let It Be» и Coldplay «Clocks», а также запись фрагмента речи Д.Трампа с фразой «We will make America great again».
В итоге, записи звука, восстановленные по спектрограммам оказались вполне различимыми, мелодии без труда угадывались сервисом Shazam, а слова распознавались открытым API Google для распознавания текста.
Сухие остатки
Устройство работает. Ни о чем подобном раньше никем не сообщалось. Это в чем-то упростит работы спецслужб, а всем, кому есть чего опасаться, следует принимать новые меры предосторожности. Пока не ясно, сможет ли работать система с чем-то кроме подвижного источника света. Израильские исследователи планируют продолжить свои изыскания.
