Увидеть почти невидимое, еще и в цвете: методика визуализации объектов через рассеиватель

Одной из самых знаменитых способностей Супермена является суперзрение, которое позволяло ему рассматривать атомы, видеть в темноте и на огромное расстояние, а еще видеть сквозь предметы. Эту способность крайне редко демонстрируют на экранах, но она есть. В нашей же реальности видеть сквозь практически полностью непрозрачные объекты также можно, применив некоторые научные трюки. Однако, полученные снимки всегда были черно-белые, до недавнего времени. Сегодня мы познакомимся с исследованием, в котором ученые из университета Дьюка (США) смогли сделать цветной снимок объектов, спрятанных за непрозрачной стеной, применив однократное световое воздействие. Что это за супер-технология, как она работает и в каких областях может применяться? Об этом нам расскажет доклад исследовательской группы. Поехали.

Основа исследования

Несмотря на все возможные «плюшки» технологии визуализации объектов в рассеивающих средах, существует ряд проблем реализации данной технологии. Основной является факт того, что пути фотонов, проходящих через рассеиватель, сильно меняются, что приводит к случайным паттернам спеклов* по ту сторону.

Спекл* — это случайная интерференционная картина, формируемая при взаимной интерференции когерентных волн, которые обладают случайными сдвигами фаз и/или случайным набором интенсивности. Чаще всего выглядит как набор светлых пятен (точек) на темном фоне.

За последние годы было разработано несколько методик визуализации, позволяющих обойти эффекты рассеивателя и извлечь информацию об объекте из рисунка спекла. Проблема этих методик в их ограниченности — нужно иметь определенные знания об объекте, иметь доступ к рассеивающей среде или объекту и т.д.

В то же время существует куда более совершенный, по мнению ученых, метод — визуализация с эффектом памяти (ME). Такой метод позволяет визуализировать объект без предварительных знаний касательно его самого или рассеивающей среды. Недостатки есть у всех, как мы знаем, и ME-метод не исключение. Для получения высококонтрастных спекл-паттернов и, соответственно, более точных изображений освещение должно быть узкополосным, т.е. менее 1 нм.

Перехитрить ограничения ME-метода также возможно, но, опять же, эти трюки связаны с доступом к оптическому источнику или объекту до рассеивателя или же с прямым измерением PSF*.

PSF* — функция рассеяния точки, описывающая изображение, которое получает система формирования при наблюдении точечного источника света или точечного объекта.

Исследователи называют эти методы рабочими, но не совершенными, так как изменение PSF не всегда возможно ввиду, например, динамичности рассеивателя либо его недоступностью перед процедурой визуализации. Другими словами, есть над чем работать.

В своем труде исследователи предлагают иной подход. Они демонстрируют нам метод реализации многоспектральной визуализации объектов через рассеивающую среду с использованием единственного спекл-измерения монохромной камерой. В отличие от других методик, данная не требует предварительных знаний о PSF системе или спектре источника.

Новый метод позволяет создать высококачественные изображения целевого объекта в пяти хорошо разделенных спектральных каналах между 450 нм и 750 нм, что было подтверждено расчетами. На практике же пока удалось достичь визуализации трех хорошо разделенных спектральных каналов между 450 нм и 650 нм и шести смежных спектральных каналов между 515 и 575 нм.

Принцип работы нового метода

Изображение №1: лампа — пространственный модулятор света — рассеиватель (с ирисовой диафрагмой) — кодирующая апертура — призма — оптическое реле (визуализация 1:1) — монохромная камера.

Исследователи отмечают три основных элемента любой визуализации через рассеиватель: объект интереса (освещенный снаружи либо светящийся самостоятельно), рассеиватель и детектор.

Как и в стандартных ME системах, в данном исследовании рассматривается объект, угловой размер которого расположен внутри поля зрения МЕ и на расстоянии u за рассеивателем. После взаимодействия с рассеивателем свет распространяется на расстояние v, прежде чем попасть на детектор.

Обычная ME-визуализация использует стандартные камеры, а в данном методе используется модуль кодирующего детектора, состоящего из кодирующей апертуры и оптического элемента, зависящего от длины волны. Целью этого элемента является уникальная модуляция каждого спектрального канала перед их объединением и преобразованием в монохромном детекторе.

Таким образом, вместо простого измерения низкоконтрастного спекла, спектральные каналы которого неразрывно смешаны, производилась запись спектрально мультиплексированного сигнала, который хорошо подходит для разделения.

Исследователи еще раз подчеркивают, что их метод не требует каких-либо заранее известных характеристик или предположений относительно рассеивателя или источника света.

После проведения предварительных измерений мультиплексированного спекла, было использовано известное значение Tλ (кодирующий паттерн, зависящий от длины волны) для индивидуальной реконструкции спекла в каждой спектральной полосе.

В своем труде на этапе расчетов и моделирования ученые применили определенные методы машинного обучения, которые способны помочь в реализации ранее не рассмотренного метода. Прежде всего было использовано обучение признакам разреженной матрицы для представления спекла.

Обучение признакам* — позволяет системе автоматически находить представления, необходимые для выявления признаков исходных данных.

В результате была получена база, обученная на спекл-изображениях из различных конфигураций измерений. Эта база достаточно обобщенная и не зависит от конкретных объектов и рассеивателей, участвующих в генерации маски Iλx, y. Другими словами, система обучается на основе рассеивателя, который не используется в экспериментальной конфигурации, т.е. система не имеет к нему доступ, как того и хотели исследователи.

Для получения спекл-изображений на каждой длине волны был использован алгоритм OMP (orthogonal matching pursuit).

В конце концов, путем вычисления автокорреляции каждого спектрального канала независимо и инверсии автокорреляции на каждой длине волны были получены изображения объекта. Полученные изображения на каждой длине волны затем объединяются, чтобы создать цветное изображение объекта.

Изображение №2: поэтапный процесс составления изображения объекта.
Данная методика, по словам ее творцов, не делает никаких предположений о корреляциях между спектральными каналами и требует только предположения о том, что значение длины волны достаточно случайно. Кроме этого, данный метод требует только информации о кодирующем детекторе, полагаясь на предварительную калибровку кодирующей апертуры и предварительно обученную библиотеку данных. Такие характеристики делают данный метод визуализации весьма универсальным и неинвазивным.

Результаты моделирования

Для начала рассмотрим результаты моделирования.

Изображение №3

На изображении выше показаны примеры многоспектрального снимка двух объектов, сделанных через рассеиватель. Верхний ряд на 3а содержит объект интереса, состоящий из нескольких чисел, показанных как в ложном цвете, так и в разбивке по спектральному каналу. При построении объекта в ложном цвете отображается профиль интенсивности каждой длины волны в CIE 1931 RGB пространстве.

Реконструированный объект (нижний ряд на 3а) как в ложном цвете, так и с точки зрения отдельных спектральных каналов, демонстрирует, что методика обеспечивает отличную визуализацию и лишь незначительное перекрестное взаимодействие между спектральными каналами, которое не играет особой роли в процессе.

После получения реконструированного объекта, т.е. после визуализации, необходимо было оценить степень точности, сравнивая спектральную интенсивность (усредненную по всем ярким пикселям) настоящего объекта и реконструированного (3b).

На изображениях 3c показаны реальный объект (верхний ряд) и реконструированное изображение (нижний ряд) для клетки из стебля хлопчатника, а на 3d показан анализ точности визуализации.

Для оценки точности визуализации необходимо было рассчитать значения коэффициента структурного сходства (SSIM) и пиковое отношение сигнала к шуму (pSNR) настоящего объекта для каждого спектрального канала.

Таблица выше показывает, что каждый из пяти каналов имеет коэффициент SSIM 0,8–0,9 и PSNR более 20. Из этого следует, что несмотря на низкий контраст спекл-сигнала, наложение на детектор пяти спектральных полос шириной 10 нм позволяет достаточно точно реконструировать пространственно-спектральные свойства изучаемого объекта. Другими словами, методика работает, однако это лишь результаты моделирования. Для полноты уверенности в своем деле ученые провели ряд практических опытов.

Результаты экспериментов

Одним из самых значимых отличий моделирования от реальных экспериментов является среда, т.е. условия, в которых проводится и то, и другое. В первом случае имеются контролируемые условия, во втором — непредсказуемые, т.е. как получится.

Было рассмотрено три спектральных канала шириной 8-12 нм с центром в 450, 550 и 650 нм, которые в сочетании с различными относительными величинами генерируют широкий диапазон цветов.

Изображение №4

На изображении выше показано сравнение между настоящим объектом (разноцветная буква «H») и реконструированным. Время светового воздействия (выдержки, т.е. экспозиции) было установлено на 1800 с, что позволило получить SNR в пределах 60-70 дБ. Такой показатель SNR, по словам ученых, не является крайне важным для опыта, но служит дополнительным подтверждением работоспособности их методики, особенно в случае сложных объектов. В реальности же, а не в лабораторных условиях, данный метод может быть на порядок быстрее.

На верхнем ряду изображения №4 показан объект на каждой длине волны (слева направо) и реальный полноцветный объект.

Чтобы в результате визуализации получить изображение реального объекта, была использована камера машинного зрения с соответствующими полосовыми фильтрами для непосредственного отображения спектральных компонентов и получения полноцветного изображения путем суммирования результирующих спектральных каналов.

Второй ряд изображения выше показывает паттерны автокорреляции каждого реконструированного спектрального канала, формирующих мультиплексированные измерения, которые являются вводными данными для этапа обработки данных.

Третий ряд это реконструированный объект в каждом спектральном канале, а также реконструированный полноцветный объект, т.е. конечный результат визуализации.

Полноцветное изображение показывает, что относительные величины между спектральными каналами также являются правильными, так как цвет объединенного реконструированного изображения соответствует реальному значению, а коэффициент SSIM достигает больше 0,92 для каждого канала.

Самый нижний ряд является подтверждением данного утверждения, демонстрируя сравнение интенсивности реального объекта и реконструированного. Данные обоих совпадают во всех спектральных диапазонах.

Из этого следует, что даже наличие шума и потенциальных ошибок моделирования не помешали получить изображение высокого качества, а результатам экспериментов отлично соотноситься с результатами моделирования.

Вышеописанный опыт был поставлен с учетом разделенных спектральных каналов. Ученые провели еще один эксперимент, но уже со смежными каналами, а точнее с непрерывным спектральным диапазоном в 60 нм.

Изображение №5

В качестве реального объекта выступила буква «X» и знак «+» (5а). Спектр буквы «Х» относительно равномерен и непрерывен — между 515 и 575 нм, а вот «+» имеет структурированный спектр, преимущественно расположенный между 535 и 575 нм (5b). Для данного эксперимента экспозиция составила 120 с для достижения желаемого (как и ранее) SNR в 70 дБ.

Также был использован полосовой фильтр шириной 60 нм над всем объектом и фильтр нижних частот над знаком «+». Во время реконструкции 60 нм спектр разделяется на 6 смежных каналов шириной 10 нм (5b).

Как мы можем видеть по изображениям 5с, результирующие изображения отлично согласуются с реальным объектом. Данный эксперимент показал, что наличие или отсутствие спектральных корреляций в измеренном спекле не влияет на эффективность исследуемой методики визуализации. Сами ученые считают, что куда большую роль в процессе визуализации, а точнее в его успешности, играют не столько спектральные характеристики объекта, сколько калибровка системы и деталей ее кодирующего детектора.

Для более подробного ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.

Эпилог

В данном труде ученые описали новый метод мультиспектральной визуализации через рассеиватель. Модуляция спекла, зависящего от длины волны, с помощью кодирующей апертуры, позволила выполнить одно мультиплексированное измерение и вычислить спекл с помощью алгоритма OMP на основе машинного обучения.

На примере разноцветной буквы «Н» ученые показали, что фокусировка на пяти спектральных каналах, соответствующих фиолетовому, зеленому и трем оттенкам красного, позволяет получить реконструкцию изображения, содержащую все цвета оригинала (синий, желтый и т.д.).

По словам исследователей, их методика может быть полезна как в медицине, так и в астрономии. Цвет несет в себе важную информацию в обоих направлениях: в астрономии — химический состав изучаемых объектов, в медицине — молекулярный состав клеток и тканей.

На данном этапе ученые отмечают лишь одну проблему, которая может вызывать неточности визуализации, это ошибки моделирования. Ввиду достаточно долгого времени, необходимого для выполнения процесса, могут возникать изменения в окружающей среде, которые будут вносить свои коррективы, не учтенные на этапе подготовки. Однако в дальнейшем планируется найти способ нивелировать эту проблему, что позволит сделать описанную методику визуализации не только точной, но и стабильной в любых условиях.

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас оформив заказ или порекомендовав знакомым, 30% скидка для пользователей Хабра на уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?