Ковыряемся внутри умной тепловой камеры с микроболометром

Китайская компания Hikvision — один из ведущих поставщиков камер наблюдения на мировом рынке, капитализация которого в прошлом году выросла до 20 миллиардов долларов.

Спрос на системы видеонаблюдения резко вырос в последние несколько лет как в Китае, так и во всем мире. Руководители многих регионов и корпораций считают, что камеры незаменимы при строительстве так называемых «умных городов» с повсеместным наблюдением.

Тепловая камера от Hikvision, выпущенная в 2016 году, привлекла внимание специалистов из System Plus Consulting по одной простой причине: ИИ.

Hikvision создала первую камеру со встроенной системой ИИ, объединив в своем продукте как программные, так и аппаратные решения. Это побудило System Plus Consulting, подразделение Yole Développement, заглянуть под капот этой камеры, чтобы понять «какие технологические решения за ней стоят».

Наиболее примечательно то, что в этой камере воплощено все лучшее из миров востока и запада – «китайские микроболометр и процессор» вместе с «не-китайскими аналоговыми компонентами и устройствами для ИИ».

Среди конкурентов Hikvision по этой специальности можно выделить Dahua и Uniview, базирующиеся в Китае, Bosch (Германия) и Axis (Швеция).

Hikvision отличается от них тем, что «эта компания может разрабатывать и производить собственные продукты». Китайская компания имеет собственную линию по производству МЭМС, занимается их упаковкой и тестированием, занимается поверхностным монтажом и осуществляет окончательную сборку компонентов.

Intel, Hikvision и Movidius (теперь компания Intel) поставляют три ключевых компонента, уникальных для обсуждаемой камеры:

• Настраиваемый модуль от Intel с компонентом Пельтье отвечает за цифровую обработку сигналов после передачи показаний микроболометра и управление температурой
• Сама Hikvision разработала чип для обработки сигналов изображения, кодирования и шифрования видео и сетевой функциональности
• Процессор от Movidius обеспечивает работу ИИ для обработки изображений

Далее по тексту специалисты из System Plus Consulting разберут эту камеру и расскажут о ней в подробностях.

Тепловая камера

Тепловая камера способна обнаруживать тепло, выделяемое человеческим телом, и преобразовывать его в изображение с помощью сложного процесса анализа сигналов. Изображения воспроизводятся посредством определения и анализа температур. В последние несколько лет тепловидение нашло свое применение в недорогих приложениях благодаря микроболометрам.

Микроболометры — это датчики, обнаруживающие инфракрасное излучение. Они состоят из сетки чувствительных точек (называемых «пикселями»), состоящей из разных слоев и различных абсорбирующих материалов, таких как оксид ванадия или аморфный кремний (α-Si).

В разговоре с System Plus Consulting мы обсудили технические и структурные аспекты сетевой тепловизионной камеры Hikvision DS-2TD2166-15 / V1. Технические специалисты из System Plus Consulting рассказали об электронной и аппаратной структуре оборудования системы, выделив различные элементы, из которых она состоит.

Тепловизионная сетевая камера Hikvision DS-2TD2166-15 / V1 оснащена датчиком изображения на основе неохлаждаемых матриц фокальной плоскости из оксида ванадия (рисунок 1). В нем реализована поддержка интеллектуальных алгоритмов анализа для нескольких критически важных инфраструктур, таких как аэропорты, железные дороги и т.д. Эта тепловизионная камера основана на нескольких наборах микросхем, таких как микроболометр RTD6171MR с разрешением 640 × 512 пикселей (шаг 17 мкм); FPGA Cyclone V 550MHz 224I / O (FBGA484); SDRAM 2 ГБ (128Mx16) 800 МГц 13,75 нс (TFBGA96); Контроллер температуры для модуля Пельтье (TQFN48); Система на чипе для профессиональных IP-камер HD; Процессор машинного зрения 2x32Bit RISC Proc. 4Gb LPDDR3; и DDR4 DRAM 8 ГБ (512Mx16) 2400 Мбит / с.

Технические и конструктивные характеристики делают эту камеру идеальной для предотвращения пожаров и быстрого обнаружения перегрева и температурных изменений на предприятиях и в производственных процессах.

Методы анализа изображения в этой камере позволяют обнаруживать события в пространстве и времени по непрерывному видеопотоку. В камере встроены 4 типа правил для анализа видеоконтента (пересечение линии, вторжение, вход в регион и выход из региона) и могут быть внедрены еще 4.

Камера получает тепловые изображения, которые позволяют пользователям обнаруживать людей, предметы и аварии в полной темноте и в сложных условиях. Поскольку камера чувствительна только к инфракрасному излучению, исходящему от тел, на ее способность просматривать и записывать изображения не влияет свет в записываемой сцене.

Также камера может измерять фактическую температуру контролируемого пятна. Устройство подает сигнал тревоги, когда температура превышает пороговое значение. Давайте взглянем на аппаратную часть этой камеры.

Рисунок 1: Сетевая тепловизионная камера Hikvision DS-2TD2166-15 / V1.

Аппаратура Hikvision

Тепловизор состоит из 6 плат, каждая из которых предназначена для выполнения определенной цели. Разберем некоторые части (рисунки 2 и 3). FPGA Cyclone V SoC построена по 28-нм техпроцессу TSMC с низким энергопотреблением (28LP); Она состоит из двухъядерного процессора ARM Cortex-A9 MPCore, множества периферийных устройств и многопортового контроллера SDRAM. Использование этой схемы обеспечивает снижение энергопотребления и поддерживает пиковую пропускную способность более 100 Гбит / с и согласование передачи данных между процессором и FPGA.

Рисунок 2: Некоторые платы от Hikvision.

Рисунок 3: Электронная плата 2 Hikvision.

Компонент формирования/усиления сигнала состоит из различных микросхем, в частности усилителя общего назначения AD8605ARTZ-REEL, двойного усилителя LT6203IMS8 100 МГц и дифференциального усилителя LT1994IMS8 70 МГц. AD8605ARTZ отличается очень низким напряжением смещения, низким входным напряжением и уровнем шумов, а также высокой пропускной способностью. В нем используется запатентованная Analog Devices, Inc. техника подстройки DigiTrim, которая регулирует характеристики схемы путем программирования источников тока.

LT6202 имеет шумовое напряжение 1,9nV/√Hz и потребляет только 2,5 мА на усилитель. Этот усилитель сочетает в себе низкий уровень шума и потребляемого тока с шириной полосы усиления 100 МГц, скоростью нарастания 25 В/мкс, а также он оптимизирован для систем с низким уровнем формирования входного сигнала. Гармонические искажения составляют менее -80 дБс на частоте 1 МГц, что делает эти усилители пригодными для использования в системах сбора данных малой мощности – таких как эта тепловая камера.

LT1994 идеально подходит для сигналов со сдвигом уровня для управления дифференциальным входом и АЦП с однополярным питанием. Синфазное выходное напряжение LT1994 не зависит от напряжения и регулируется путем подачи напряжения на вывод VOCM, как описано в его техническом описании.

16-разрядный АЦП ADS1112IDGSR и LT3042IDD поддерживают согласованный обмен данных с FPGA. DS1112 разработан для приложений, требующих измерений с высоким разрешением, где необходимо учитывать память и энергопотребление. LT3042IDD — это линейный стабилизатор с низким падением напряжения, предназначенный для питания чувствительных к шуму радиочастотных приложений. На платах 3 и 1 есть и другие интегральные схемы для поддержки питания соответствующих интегрированных подсистем, таких как линейные регуляторы и понижающие преобразователи.

Основная деталь, определяющая 80% стоимости — микроболометр (оксид ванадия). Он поддерживается компонентом Пельтье со схемой контроля температуры.

Линзы

Основной модуль, поддерживающий микроболометр, состоит из различных линз для оптимизации ИК-лучей на датчиках. На рисунках 4 и 5 мы видим линзу из германия диаметром 19,6 мм и две линзы из триселенида мышьяка (As2Se3) разного диаметра – 17,6 мм и 27,6 мм.

Рисунок 4: Модуль камеры.

Рисунок 5: Модуль объектива.

В оптике существует такое понятие как диафрагменное число (иногда называемое фокусным отношением или относительной апертурой), которое выражает область восприятия света. То есть фокусное расстояние, деленное на диаметр апертуры.

Объектив с большим диаметром апертуры пропускает больше света или инфракрасного излучения. Следовательно, большее количество инфракрасного излучения улучшает измерения с точки зрения соотношения сигнала к шуму. Параметр, позволяющий определить качество измерения, называется «NETD» или «Разница температур, эквивалентных шуму». Обычно он выражается в милли-Кельвинах (мК) и выражает насколько хорошо детектор теплового изображения может различать небольшие различия в изображении теплового излучения. Типичные значения для неохлаждаемых тепловизионных камер детектора с микроболометрами составляют порядка 45 мК.

Микроболометр

Сетки пикселей-резисторов образуют неохлаждаемые датчики. Такие датчики называют микроболометрами. Любое излучение, попадающее на поглотитель повышает его температуру выше температуры резистора. Чем выше потребляемая мощность, тем выше повышение температуры. Значение резистора меняется в зависимости от падающего излучения, (особенно сильно влияние инфракрасного излучения, нагревающего поверхность). Каждый пиксель представлен входной ячейкой CMOS (считывающая интегральная схема -ROIC) и обрабатывается микросхемой для создания изображения на компьютере или мониторе с помощью FPGA (рисунки 6 и 7). Обычно структура микроболометров оптимизирована для более высокой чувствительности в спектральном диапазоне 8–14 мкм. В Hikvision DS-2TD2166-15 / V1 используется датчик IRAY RTD6171MR с разрешением 640 × 512 пикселей (шаг 17 мкм), частотой 60 Гц (аналоговый выход) и SMD.

Рисунок 6: Микроболометр — IRAY RTD6171MR.

Рис. 7. Микроболометр RTD6171MR 17 мкм — разборка.

Газопоглотитель значительно снижает выделение газа и поддерживает низкое давление в полости корпуса.

System Plus выделила физические характеристики микроболометра, кратко изложенные ниже:

• Площадь кристалла: 175,2 мм² (13,6 x 12,8 мм)
• Площадь пикселя: 96,4 мм² (10,9 x 8,85 мм)
• Пиксельная матрица: 641 x 520
• Матрица активных пикселей: 640 x 512
• Количество подложек: 107
• Соединение проводов: 32

Анализируя его изнутри, мы можем увидеть, что отражатель расположен под поглощающий материалом и находится в контакте с подложкой, которая перенаправляет свет, чтобы оптимизировать сигнал. Поглощающий материал «подвешен» к подложке для обеспечения теплоизоляции, в то время как сетка пикселей герметизирована в вакууме для повышения долговечности и надежности. В большинстве микроболометров, используемых в тепловых камерах, в качестве абсорбирующего материала используется оксид ванадия из-за лучшего теплового контраста, который обеспечивает более точные и четкие изображения.

Детекторы на основе оксида ванадия имеют импеданс около 100 кОм для среднего резистора, в отличие от детекторов α-Si, которые обычно имеют импеданс около 30 МОм. В этих условиях оксид ванадия имеет более низкое напряжение шума Джонсона, и поэтому измерения будут менее шумными. Напряжение шума Джонсона зависит от трех условий: номинала резистора, полосы пропускания цепи и температуры.

Камера оснащена компонентом с эталонной температурой и системой стабилизации температуры Пельтье, оснащенной четырехканальным 14-разрядным ЦАП AD5645RBRUZ со встроенным эталоном и контроллером температуры MAX1978ETM + T для компонента Пельтье.

Элементы Пельтье — это недорогие термоэлектрические устройства, используемые для генераторов энергии, охлаждения и точного контроля температуры и, как в случае с этой камерой, для поддержания постоянной температуры объекта на заданном уровне. Элементы Пельтье основаны на термоэлектрических явлениях. Эти явления основаны на образовании разницы уровней напряжения в PN-переходах двух разных металлических материалов.

MAX1978 имеет встроенные силовые полевые транзисторы и схему терморегулирования, которая позволяет минимизировать количество внешних компонентов при сохранении высокой эффективности. Усилитель-прерыватель со сверхмалым дрейфом обеспечивает стабильность температуры ± 0,001 ° C. Датчик температуры находится на линзовом модуле и основан на термисторе NTC / PTC. Дополнительный цифровой датчик температуры, TMP75AIDRG4, контролирует системную тепературу (окружающей среды), напрямую управляемую FPGA.

В отличие от других типов оборудования для обнаружения инфракрасного излучения, микроболометры из оксида ванадия не нуждаются в охлаждении. Оксид ванадия ведет себя по-разному в зависимости от температуры. Стекло с покрытием блокирует инфракрасное излучение (но не видимый свет) при определенных температурах, позволяя электронике камеры обрабатывать изображение из электромагнитного спектра и воспроизводить его в псевдоцветах.

Прочие модули

Тепловая камера поддерживает передачу RS232 (через SP3232EEN-L) для промышленных интерфейсов и передачу по Ethernet с поддержкой RTL8201FI-VC-CG. Плата 6, как показано на рисунке 2, включает в себя систему питания переменного / постоянного тока с диодами подавления переходных напряжений для защиты электронных схем от переходных процессов и электростатических разрядов.

Рисунок 2: Некоторые из плат от Hikvision.

Также в тепловую камеру встроен интерфейс PoE, который поддерживается TPS2378DDDAR PoE High-Power PD Interface и контроллером от Texas Instruments TL2845BDR-8. Последний обеспечивает все функции, которые необходимы для реализации схем управления в режиме постоянного тока с фиксированной частотой в автономном режиме или постоянного тока с минимальным количеством внешних компонентов.

Низкое внутреннее сопротивление переключателя (0,5 Ом) TPS2378DDAR в сочетании с улучшенным тепловыделением корпуса PowerPAD позволяет системе PoE непрерывно обрабатывать до 0,85 A. Power over Ethernet (PoE) — это технология, которая передает электроэнергию через Ethernet-кабель: устройство, обеспечивающее питание, называется источником питания (PSE), а устройство с питанием — питаемым (PD). Когда питаемое устройство подключается к источнику, стандарт PoE определяет пусковой ток для предотвращения сильных всплесков. Кроме того, стандарт PoE обеспечивает аналоговое рукопожатие (классификацию) между источником питания и питаемым устройством для согласования мощности.

Работа с видео у камеры обеспечивается системой на чипе HI3519 V111 SoC. Она использует кодек сжатия видео H.265, и отличается низким энергопотреблением и архитектурным дизайном. Hi3519 V101 поддерживает поворот на 90° или 270°, коррекцию искажений объектива с помощью оборудования, алгоритмы для различных моделей IP-камер и аудиокодеки. Эта SoC оснащена двумя парами памяти DDR4 4 Гб каждая и GD5F2GQ4UB9IGR Flash NAND 2 Мб SPI.

Процессор Intel Movidius MA2450 VPU 2x32Bit RISC Proc. LPDDR3 4Gb на частоте 933 МГц расположен на плате 4 (рис. 2) и позволяет системе быстро распознавать объекты и людей, анализировать численность людей, проверять производимые продукты ие многое другое. Система компьютерного зрения использует глубокое обучение для формирования нейронных сетей, которые руководят системами при обработке и анализе изображений.

Разнообразные тепловые камеры с охлаждаемыми и неохлаждаемыми датчиками выделяются на рынке. Тепловизоры с охлаждаемыми датчиками стоят дороже. У многих современных тепловых камер имеются встроенные датчики с криокулерами.

Благодаря микроболометру тепловизионная камера обеспечивает хорошую точность при невысокой стоимости. Камера измеряет температуру поверхности тепла, излучаемого объектом, и проецирует его в виде изображения.

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive