Управлять роботом силой мысли: совершенствование интерфейса мозг-машина

Управлять роботом силой мысли: совершенствование интерфейса мозг-машина

Многие писатели-фантасты и киноделы обожают сюжеты, в которых роботы захватывают мир и намереваются уничтожить человечество. И как бы сильно ученые не старались доказать нереальность подобного, простые обыватели продолжают если не верить в эти сюжеты, то с опаской относится к любым новинкам из области робототехники. Тем не менее страхи эти преувеличены и часто необоснованны, ведь даже самый современный андроид лишен крайне важного ингредиента — самосознания. По сути робот не может принимать решения самостоятельно, а действует исключительно в рамках заложенной в него программы. Потому было бы куда страшнее, если бы действиями робота управлял человек, ведь именно человек является самым злейшим врагом для самого себя. Довольно иронично, что именно эта технология вызывает живейший интерес научного сообщества. Ученые из Технологического университета Сиднея (Австралия) разработали носимое устройство, позволяющее контролировать робота буквально силой мысли. Как именно работает устройство, из чего оно состоит, и чем отличается от аналогов? Ответы на эти вопросы мы найдем в докладе ученых.

Основа исследования

В основе данного исследования лежит концепция BMI (brain-machine interface), т. е. интерфейс мозг-машина — система связи без помощи рук и голосовых команд, которая позволяет человеку управлять внешними устройствами с помощью мозговых волн. Такие системы обычно состоят из трех модулей: внешнего сенсорного стимула, сенсорного интерфейса и блока обработки нейронных сигналов.

Среди этих модулей сенсорный интерфейс играет решающую роль, обнаруживая электрическую активность коры головного мозга, которая кодирует намерения человека (мозговые волны с частотой ~ 1–150 Гц), с помощью имплантированных или носимых нейронных датчиков, таких как электроды электроэнцефалографии (ЭЭГ). Естественно, неинвазивные датчики всегда в приоритете. Мокрые датчики на основе Ag/AgCl являются эталонными с точки зрения производительности среди неинвазивных электродов благодаря низкому импедансу на коже (∼5-30 кОм при 50 Гц) и высокому отношению сигнал/шум (S/N; 30 ± 5 дБ). Однако их использование основано на нанесении электропроводящего гелевого электролита на кожу головы и волосы. Использование геля сопряжено с рядом негативных последствий: раздражение кожи, риск инфицирования, загрязнение волос, аллергические реакции, нестабильности работы устройства при движении, непригодность для длительной эксплуатации из-за постепенного высыхания геля.

Сухие датчики были разработаны для преодоления этих ограничений и обеспечения портативной ЭЭГ за пределами лаборатории или клиники. Контактное сопротивление (> 200 кОм при 50 Гц) и отношение сигнал/шум (5 ± 3 дБ) обычных сухих датчиков сильно уступает мокрым датчикам. Кроме того, электрический контакт на волосистой части головы еще более сложен для сухих датчиков.

Ученые отмечают, что двумерные наноматериалы нанометровой толщины, особенно графен и производные графена, являются многообещающими электродными материалами для сухих датчиков BMI. Их очень тонкая структура в сочетании с высокой электропроводностью, биосовместимостью, коррозионной стойкостью и устойчивостью к поту являются очень привлекательными характеристиками для использования в качестве датчиков как для инвазивных, так и для неинвазивных нейронных интерфейсов.

Тем не менее большинство описанных неинвазивных датчиков на основе двумерных материалов обычно состоят из тонкопленочных электродов с плоской поверхностью и несовместимы с применением на волосистых участках кожи головы. Для измерения сигналов ЭЭГ от затылочной области головы, которая соответствует зрительной коре, датчики необходимо разместить на затылке, покрытым волосами (как правило). Кроме того, затылочная область головы имеет сильно изогнутую поверхность. Следовательно, получение плотного контакта с использованием плоских электродов на волосистой и неровной затылочной области головы является особенно сложной задачей.

В своей предыдущей работе ученые успешно регистрировали высококачественные сигналы ЭЭГ от лобной области головы с помощью неинвазивных эпитаксиальных графеновых (EG от epitaxial graphene) сенсоров из карбида кремния (SiC) на кремнии с неузорчатой поверхностью. В рассматриваемом нами сегодня труде они решили применить наработки из вышеупомянутого исследования для демонстрации успешной реализации интерфейса мозг-машина через считывание устойчивого визуального вызванного потенциала (SSVEP от steady state visually evoked potentials) с затылочной части головы.

Подготовка к опытам

Одним из основных компонентов будущего устройства стали пленки кубического карбида кремния (3C-SiC), эпитаксиально выращенные на высоколегированных подложках Si(100). Для выращивания EG на SiC на кремнии был использован подход с использованием каталитического сплава. Метод физического осаждения из паровой фазы (PVD) использовался для последовательного осаждения слоя Ni (~10 нм), а затем слоя Cu (~20 нм). Отжиг образцов с металлическим покрытием при ∼1100 °C в течение 1 часа в условиях вакуума (∼10–5 бар) приводил к разрыву связей Si–C благодаря присутствию Ni и высвобождению атомов C, образующих графен на поверхности. Силициды никеля, которые являются побочными продуктами этого процесса, затем удалялись вместе с любыми остатками металла на поверхности с помощью химического травления в течение 9 часов. Для дальнейшего исследования использовались образцы EG/SiC/Si размером 1×1 см.


Изображение №1

После фотолитографии образцы 3C-SiC были протравлены реактивным ионным травлением, пропуская 40 см3 STP/мин SF6 и 2 см3 STP/мин O2 в течение 3 минут и 10 секунд. Отраженная мощность генератора ИСП составляла 15 Вт, а постоянное смещение ~200 В. После травления образцы погружали в раствор ацетона в ультразвуковой ванне для удаления остатков фоторезиста.

Результаты исследования

Ученые выбрали четыре шаблона сенсора:
эпитаксиальный графен с квадратным рисунком (SPEG от squarepatterned epitaxial graphene);

  • эпитаксиальный графен с гексагональным рисунком (HPEG от hexagonal-patterned epitaxial graphene);
  • эпитаксиальный графен со столбчатым рисунком (PPEG от pillar-patterned epitaxial graphene);
  • эпитаксиальный графен с точечным рисунком (DPEG от dot-patterned epitaxial graphene).
  • В качестве контрольной группы использовались EG без какого-либо рисунка (FEG).


Изображение №2

На 2a показаны снимки вышеперечисленных датчиков. Для измерения глубины травления (2b) использовалась сканирующая электронная микроскопия, которая подтвердила, что глубина структур составляет около 10 мкм от верхней поверхности. Глубина также была подтверждена с помощью контактного профилометра (2c).

Картирование рамановской спектроскопией (спектроскопией комбинационного рассеяния, или КР) проводилось на протравленных и непротравленных участках образцов. Усредненные КР спектры невытравленных областей (верхняя часть структур) показали, помимо пиков кремния, четыре доминирующих пика: LO-пик SiC при ∼970/см и связанные с графеном пики: пик D при ∼1340/см, пик G при ∼1580/см и пик 2D при ∼2680/см [2d(i)]. А КР спектры для областей внизу/впадинах показали только отклик кремния без наличия SiC или графена [2d(ii)]. Вставки на графиках это снимки соответствующих областей графена (зеленая) и протравленного кремния (серая). Отношения интенсивностей между полосами D и G и пиками 2D и G можно использовать для оценки средних размеров доменов и количества слоев графена соответственно. Соотношения средней интенсивности ID/IG (0.238) и I2D/IG (3.2) графена с микроузором указывают здесь на наличие 1-2 слоев со средним размером домена графена менее 100 нм. Это также указывает на субнанометровую толщину слоя, контактирующего с кожей.

EIS (электрохимическая импедансная спектроскопия) была использована для количественной оценки и сравнения электрохимических свойств EG сенсоров с микроструктурой в PBS (натрий-фосфатный буфер) растворе в трехэлектродной системе. По данным EIS было установлено, что EG датчики демонстрируют низкое сопротивление в диапазоне от 130 ± 10 до 180 ± 10 Ом на частоте 50 Гц (3a).


Изображение №3

В частности, из графиков Найквиста и Боде (3a и 3b) видно, что датчики FEG и SPEG демонстрируют самый низкий импеданс в PBS растворе.

Затем были проведены измерения на коже (лоб) с использованием четырех сенсорных каналов в качестве рабочих электродов (4a). В качестве электрода для сравнения (контроль) использовался Ag/AgCl датчик, прикрепленный к сосцевидному отростку.

Графики Найквиста на коже показали типичное поведение полушария, поскольку человеческая кожа имеет большее сопротивление (в диапазоне килоом) по сравнению с раствором PBS (3c). График Боде на 3d показал импеданс на коже для EG датчиков на лбу в диапазоне от 75 ± 10 до 130 ± 10 кОм при 50 Гц.


Изображение №4

Значения импеданса различных EG датчиков, измеренные на затылочной области головы человека с короткими волосами (длиной 5 мм), представлены в таблице ниже.


Таблица №1

Из таблицы видно, что хотя датчики FEG и SPEG показали низкий импеданс в PBS растворе и на достаточно плоской и лишенной волос кожи лба, благодаря наибольшему покрытию графеновой поверхности они дали самые высокие контактные импедансы на затылочной области волосистой части головы. А вот вариант HPEG показал самый низкий импеданс.

Похоже, что гексагональная форма и фактор упаковки в конструкции структур HPEG способны обеспечить лучший баланс между общей доступной площадью графена для контакта и эффективно достигаемой площадью контакта с кожей затылка.

На основании этого наблюдения была изготовлена восьмиканальная сенсорная система HPEG с использованием эластичного оголовья (4b и 4c). Датчики располагались нерегулярным массивом в соответствии с затылочной областью (4d). ЭЭГ сигналы регистрировали с помощью мобильного ЭЭГ-устройства Mentalab Explore.


Изображение №5

Все восемь каналов обнаруживали сигналы ЭЭГ (5a), хотя наблюдалась большая вариация отношения сигнал/шум для каждого канала, коррелирующая не с качеством датчика, а с его конкретным местоположением и конкретным давлением, прикладываемым к коже головы. Следовательно, эти параметры имеют решающее значение для регистрации сигнала. Давление эластичной ленты не всегда передается равномерно на все области головы, потому что оно также зависит от локальной кривизны и распределения волос.

Затем восьмиканальная система, встроенная в эластичную повязку, была подключена к мобильному усилителю ЭЭГ на платформе aBRI для проверки работы интерфейса мозг-машина. Стимуляцию проводили с помощью визуальных меток, мерцающих с разной частотой либо на экране мобильного телефона (обучение) (5c), либо в гарнитуре дополненной реальности HoloLens 2 (тестирование). Датчики HPEG использовались для измерения активности в зрительной коре, вызванной мерцанием. Затем полученный мозговой сигнал использовался в качестве входных данных для классификатора в компьютере для обнаружения соответствующего мерцания, на котором визуально фокусировался пользователь. Наконец, компьютер отправлял вывод классификатора, чтобы выдать команду роботу (5d). Система интерфейса на основе HPEG достигла в среднем 94% точности при выполнении шести команд. Также было проведено сравнение отношения сигнал/шум восьми сенсорных каналов HPEG, контактирующих с затылочной областью, с аналогом, использующим мокрые сенсоры на основе серебра (6a и 6b).


Изображение №6

Как и ожидалось, мокрые датчики продемонстрировали высокое отношение сигнал/шум, равное 30 дБ, по сравнению с датчиками HPEG, показавшими 25 дБ. Этот результат дает надежду на то, что благодаря специально подобранному шлему и улучшенному расположению датчика и приложенному можно будет достичь удовлетворительных значений отношения сигнал/шум, близких к таковым у мокрых датчиков.

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.

Эпилог

В рассмотренном нами сегодня труде ученые описали создание новой системы датчиков, которая позволяет реализовать интерфейс мозг-машина. Другими словами, эта разработка направлена на улучшение связи между мозгом пользователя и машиной, которой он намерен управлять посредством считывания и передачи волн активности.

Если обобщить, то существует два типа датчиков в аспекте их контакта с кожей головы человека — мокрые и сухие. Мокрые называются так, поскольку для улучшения контакта используется специальный гель. Сухие, как противоположность, прикрепляются к коже напрямую. Оба этих типа неинвазивны, то есть не требуют какого-либо внедрения чего-либо в кожу пользователя.

Сухие датчики ранее считались менее производительными, но благодаря вышеописанному исследованию это изменилось. Использовав графен и кремний, ученые создали датчики с микроскопическим рисунком на его поверхности. Такой датчик считывает сигналы мозговой активности пользователя, в данном случае зрительной коры. Во время опытов пользователю демонстрировались вспышки света через очки дополненной реальности, а датчики должны были отследить ответную реакцию мозга на этот раздражитель. Затем сигнал передавался на компьютер, который преобразовывал его в команды для роботизированного пса. Система способна выдавать не менее 9 команд в секунду, а ее точность достигает 94%.

Подобного рода разработки будут весьма полезны для реализации полноценного интерфейса мозг-машина. А возможность управлять роботом дистанционно и без каких-либо периферических устройств будет интересно для очень многих отраслей, от медицины и реабилитации до производства и борьбы с последствиями стихийных бедствий.

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?

 

Источник

Читайте также