От простого к сложному
Хабр часто рассказывает об экзоскелетах. Эти устройства преследуют две глобальные цели: вернуть утраченную функцию организма или, что редко, дать человеку новые возможности. Как водится, не вполне предусмотренные природой.
| Наш материал посвящён рассмотрению второго вопроса. Пожалуй, у каждого технаря бывали случаи, когда в своей работе он бы не отказался от третьей руки. Манипуляции с мелкими предметами, возможность придержать инструмент или перехватить деталь — вариантов масса, и все они упираются в человеческую физиологию. В большинстве случаев она ограничена двумя руками и десятью пальцами, но кто сказал, что это нельзя исправить с помощью носимых устройств? |
Концепция усовершенствования человеческого тела отнюдь не нова. Прикладные экзоскелеты позволяют значительно увеличить силу и выносливость носителя. Методики управления варьируются в довольно широких пределах. На видео — устройство Guardian XO Exoskeleton.
Управлять экзоскелетами можно по-разному. Наиболее примитивный вариант — использование контроллеров-джойстиков. При всей своей простоте этот способ оказался медленным и не особенно точным.
Следующий путь — считывать электромиограмму, дабы периферия «разобралась» по электрической активности мускулов, какое движение выполняет носитель экзоскелета. Штука хорошая, но со своими оговорками. По факту, ЭМГ — это промежуточный этап между ручным управлением и передачей команд «силой мысли», которая проксится через электрокортикографию.
В XXI веке индустрия достигла уровня, достаточного для создания полноценного интерфейса «мозг-машина». Чтобы поднять Brain-Machine Interface, следует решить несколько важных задач.
Сперва нужно считать электромагнитные токи над корой головного мозга. Именно там формируется намерение к осознанному движению. С этой работой неплохо справляются приборы для электрокортикографии (ЭКоГ). Другое дело, что сигнал неизбежно будет засорён фоновым шумом, который хорошо бы убрать. Здесь на сцену выходит компьютеризированная периферия, где «крутятся» скрипты для потоковой обработки данных.
| Таким образом аналоговый сигнал переводится на цифровой язык, понятный электронике. Если мы говорим об интерфейсе между головным и спинным мозгом, то следующий этап состоит в декодировании сигнала, чтобы его «поняли» нервные клетки. Спинной мозг обладает собственными нейронными сетями, ответственными за выполнение простых действий. К примеру, для контроля работы внутренних органов, тонуса сосудов или стереотипных движений вроде ходьбы. |
Роботизированная рука в таком не нуждается. Ей вполне хватит цифрового сигнала с компьютера. Дальше происходит его постобработка в микропроцессоре и подача команды на механизм-исполнитель.
Именно здесь всплывает неожиданная сложность. Мозг хорошо управляет здоровыми конечностями. С некоторыми оговорками он способен командовать бионической рукой или ногой. Главное — заставить сенсомоторную кору думать, что искусственная конечность является частью тела. Но можем ли мы контролировать искусственный орган, который попросту не задумывался природой, не развивался в ходе эмбрионального и эволюционного развития? Последние достижения в области робототехники и нейробиологии позволяют утвердительно ответить на этот вопрос.
Многорукий Шива
Прежде чем подробно разбираться в начинке «третьей руки», следует обратить внимание на предков этой штуковины. Любое высокотехнологичное устройство не возникает из вакуума само по себе. Появлению самого чернового прототипа неизбежно предшествует идея. А вот идея склонна витать в воздухе и приходить в головы к разным людям.
| Christian I. Penaloza в коллаборации с Shuichi Nishio упоминают статью «Based control of supernumerary robotic limbs», опубликованную B. Llorens-Bonilla в бородатом 2012 году. Пока мир готовился к концу света, команда исследователей начала копать в сторону дополнительных конечностей для человека. Устройство, названное Supernumerary Robotic Limbs, не предусматривало тесной интеграции с нервной системой. Две роботизированные руки крепились на теле с помощью ремней и пряжек. |
Для выполнения осмысленных движений система требовала ассистента и ведущего. Собирая данные из двух источников, компьютеризированная периферия находила общие черты в их поведении и выявляла причинно-следственные связи между действиями руководителя процедуры и его помощником.
Здесь видно, что в 2012 году мы ещё не умели добиваться многозадачности для дополнительных рук. Сколько бы их ни было, они выполняли одну стереотипную работу. Учёные понимали: чтобы осуществить настоящий прорыв, нужно каким-то образом считать намерение пользователя к движению и декодировать его, не учитывая действия других частей тела. Более того — аппаратно-программная оболочка должна игнорировать посторонние сигналы с «живых» рук, которые осуществляют действия, не имеющие отношения к поставленной задаче.
Работа B. Llorens-Bonilla не слишком известна в рунете. Тем не менее можно с уверенностью заключить: это исследование расчистило плацдарм для дальнейших исследований в области полноценной аугментации человека.
Третья рука
Christian I. Penaloza и Shuichi Nishio, авторы статьи «BMI control of a third arm for multitasking», работали именно в этом направлении. Оригинальный материал был опубликован на портале Science Robotics и вызвал активное обсуждение в научной среде.
| Почему это исследование важно? Читая репорт о проведенном эксперименте, можно сделать вывод: устройство, интересующее нас, заметно отличается от привычной бионики. |
В основном бионические конечности находят своё применение в деле протезирования. То есть они возмещают утраченные функции человеческого тела. А вот «третья рука» проходила испытания на здоровых добровольцах. Она придавала людям удивительную многозадачность, позволив одновременно оперировать как естественными конечностями, так и роботизированным гаджетом.
Впрочем, для «третьей руки», виртуальной клавиатуры и кресла-каталки на «мыслеуправлении» более чем хватало возможностей неинвазивного ЭКоГ-датчика, который закреплён на коже головы.
Что можно сказать об этих расширениях? В первую очередь, они работают. Пожалуй, это главное. Нюанс состоит в том, что пользователь должен постоянно удерживать концентрацию на выполнении совершенно непривычной задачи. Стоит немного отвлечься, как «машинная магия» проходит.
Эксперимент с третьей рукой сводился к простой методике. Живые конечности пользователя держат плиту с четырьмя отметками, между которыми можно и нужно катать мячик. Бионический аугмент в это время удерживает бутылку, совершая набор действий уже с ней.
В эксперименте участвовало 15 добровольцев. Они садились в кресло. Роботическая рука была закреплена так, чтобы оператору казалось: она выходит из его тела. Сама поза выступала первым этапом интеграции между головным мозгом и кибернетическим расширением.
Такие разные гомункулы
Наш мозг не умеет напрямую взаимодействовать с реальностью. Он получает сигналы от органов чувств, на основе которых строится схема тела. Основная работа ведётся уже с ней. FirstVDS когда-то писал о моторно-сенсорном гомункуле — гротескном «человечке», который воплощает представления нервной системы об организме.
| У гомункула огромная голова с карикатурным лицом, массивные руки и тонкие ноги. Он выглядит так, потому что нейронные поля, отвечающие за мимику, речь и хватательные функции, имеют более широкое представительство в коре, чем их коллеги, работающие с теми же ногами. Грубо говоря, внешний вид гомункула прямо зависит от работы, которую человек выполняет чаще всего. |
Здесь мы видим удивительную пластичность нервной системы. Она готова к адаптивным изменениям и способна контролировать практически что угодно — главное объяснить ей, что в теле появились новые органы.
Ход эксперимента
А: кресло с роботизированной рукой, что закреплена справа от пользователя. В: доска для балансировки мяча, снабжённая цветными маркерами. С: первая задача, разминка. Пользователь хватает, а затем выпускает бутылку с помощью дополнительной конечности. D: усложняем работу. Испытуемый катает шарик, одновременно перемещая бутылку. Это уже мультизадача, поскольку все три конечности функционируют вразнобой.
Роботизированная клешня работала по простому скрипту. В неё заложили три стереотипные траектории: нулевая траектория покоя, а также захват и отпускание бутылки. Казалось бы, ничего сложного, только вот приказ к действию поступал непосредственно из нервной системы.
Для этого система проходила несколько циклов калибровки. Каждая сессия состояла из 10 попыток взять бутылку длительностью в 20 секунд. Проба на захват-опускание длилась 10 секунд.
Чем одно состояние отличается от другого? Разницу определяет сила спектральной мощности электродов (PSD), принимающих сигналы от головного мозга.
| Итак,суть эксперимента понятна. Сначала испытуемый хватает бутылку, а потом её отпускает. Потом он делает то же самое, катая шарик. В это время учёные собирают статистику. Тогда же всплыл интересный факт: добровольцы разделились на «хороших» и «плохих» операторов. Обратимся к собранным данным. |
Минутка статистики
В ходе экспериментов добровольцы прошли 20 испытаний. С одной задачей испытуемые справлялись в 67,5% случаев. В то же время тест на многозадачность оказался успешным в 72,5% без учёта мелких различий. Судя по гистограмме, распределение у монозадачи оказалось унимодальным, а в случае многозадачности гистограмма показывает бимодальность. То есть операторы справлялись с выполнением цели или хорошо, или плохо. Третьего не дано.
Хорошие исполнители находятся выше границы, а плохие — соответственно, ниже. Средний балл для 8 человек показывает производительность с медианой 85, а «плохиши» дали медиану 52,5 в условиях мультизадачности.
А: представление одной задачи. В: многозадачность. Эта панель показывает распределение функции вероятности, полученное с помощью алгоритма GMM-EM. Оценка эффективности в 68,8 являет границу, отделяющую успешных операторов от тех, кто не справился с задачей.
Задача по балансировке мяча оценивалась трижды: в начале эксперимента, по ходу выполнения сессии действий и в конце опыта. Оценочный показатель удалось найти с помощью алгоритма определения цвета.
Говоря простым языком, всё свелось к тому, сколько раз жёлтый шар проходил между яркими маркерами на балансировочной доске.
Этапы эксперимента
Эксперимент состоял из нескольких этапов. Участник садился в кресло и надевал шестнадцатиканальный электрод g. Nautilus австрийского производства. Приёмник располагался около правого уха, а заземление проходило в области лба. Роботизированную руку ставили справа от испытуемого.
Устройство, основанное на пневматическом приводе, могло похвастаться пятью степенями свободы. Ладонь оборудовали силиконовым покрытием, дабы она максимально напоминала человеческую кожу.
| Потом настало время балансировать мяч. Мяч катали по доске 60х45 см, по углам которой расположены цветные маркеры. Камера непрерывно считывала поток визуальной информации. Чтобы заработать максимальный балл в 100%, испытуемый должен протянуть мяч над каждым из маркеров. |
Роботизированная рука проявила себя в исследовательской сессии. Услышав звонок, экспериментатор хватал бутылку с помощью кибернетической конечности. Акустический сигнал повторяли через 10 секунд. Это значило, что испытуемому пора вообразить, как он отпускает захваченный предмет. Третий звонок объявлял о конце эксперимента.
В условиях многозадачности добровольцы делали то же самое, но с одновременной балансировкой мяча. Одна сессия состояла из 5 тестов на выполнения одной задачи, а также 5 сложных итераций, между которыми был предусмотрен отдых в пару секунд.
Калибровка системы
Естественно, столь технологичная система требовала калибровки. Колпачок ЭЭГ состоял из 16 электродов, которые размещали на голове в соответствии с общепринятой схемой:
Для опыта с третьей рукой исследователи не нуждались во всех данных о мозговой активности. Дело в том, что префронтальная кора сильно «шумит» двигательными артефактами с глаз. Висок и затылок тоже не могли сказать полезных вещей: эти области головного мозга охотно реагируют на визуальные и звуковые раздражители.
| А теперь внимание, дисклеймер: Итак, электроды F3, Fz, F4, C3, Cz, C4, P3, Pz и P4 собирали данные о корковой активности. Полученная информация проходила сквозь ПО Simulink/MATLAB от MathWorks. |
Чтобы софт выполнил свою работу, нужно собрать сигналы на частоте 250 Гц. Артефакты, сидящие на 60 герцах, проходили очистку режекторным фильтром. Затем следовала полосовая фильтрация на частотах от 0,5 до 60 Гц.
| Новый этап состоял в применении преобразований Фурье для просчитывания 5 числовых диапазонов: δ (1 до 4 Гц), θ (от 4 до 8 Гц), α (от 8 до 12 Гц), β (от 12 до 30 Гц) и γ (от 30 до 60 Гц). Именно в них пряталась информация, нужная для управления кибернетической рукой. |
Собственно говоря, калибровка как раз и состояла в потоковом анализе данных и выявлении тех сигналов, которые лучше всего отвечают выполнению одной или сочетанной задачи.
Как мы видим из этого краткого экскурса, дополнительная конечность показала себя скорее хорошо, чем плохо. Более чем в половине случаев испытуемые успешно решали поставленную задачу. Но как быть с провальными итерациями?
На пути к максимальной продуктивности
Учёные видят несколько причин, которые не давали участникам эффективно управлять рукой:
- Во-первых, это высокие требования к умению концентрировать внимание. Кто-то может сосредоточиться на нескольких задачах, а кому-то привычнее выполнять работу последовательно, идя от одного этапа к другому.
- Во-вторых, головной мозг — штука пластичная. Он работает на сложной системе нейронных полей, которые взаимно проникают друг в друга. Вполне возможно, что «плохие» операторы не успели синхронизироваться с дополнительной конечностью. Для нервной системы очень важна иллюзия принадлежности. Ей проще управлять красивым бионическим протезом, максимально стилизованным под родную руку, чем иметь дело с жутковатым конструктом из поршней, проводов и сочащейся маслом гидравлики.
- В-третьих, никто не отменял потребность в обучении. Мы превосходно обращаемся с инструментами, печатаем на клавиатуре и водим автомобили потому что долго практиковались в этом. Читатель может вспомнить свои ощущения при освоении нового навыка. В первое время руки кажутся как будто чужими, и делают совсем не то, чего от них ожидают. С практикой этот недостаток проходит.
В данном эксперименте участвовали взрослые люди, чья нервная система уже оформилась. Будет интересно посмотреть, как бы с этим справились дети. Они как раз демонстрируют огромный потенциал к освоению любого навыка и способны разобраться практически в чём угодно.
Эволюционные инженеры
Создание дополнительных конечностей — это работа, которая идёт вразрез с эволюционными процессами. Если нынешние технологии позволяют наделить человека новыми руками, то способны ли они помочь тем, кто потерял конечности давным-давно?
Американский инженер и блогер Ален Пэн решил испытать себя в деле эволюционной инженерии. После кропотливой работы он явил миру экзоскелет для змей.
Кибернетический аксессуар для ползучего питомца выглядит по-настоящему футуристично. Он состоит из трубы, в которую нужно поместить змею. Двигательная часть представлена четырьмя конечностями под управлением сервомоторов. Исследователь напечатал большую часть деталей на 3D-принтере.
Запрограммированная походка включала движения, характерные для ящериц. Причина тому простая: с точки зрения биологии, ящеры и змеи отстоят друг от друга не слишком далеко. Змеиный экзоскелет умеет бегать только вперёд. Само животное им не управляет: змее вполне достаточно того, что она двигается в пространстве. Насколько осознанно — более скользкий вопрос, но, судя по видео, питомец блогера не испытывал видимого дискомфорта.
Скорее всего, это устройство так и останется забавной игрушкой. Начнём с того, что змеи не сильно беспокоятся об утрате конечностей. Им хорошо и так. Теоретически, никто не запрещает исследователям поставить на голову рептилии ЭкоГ-датчики, но тут неизбежно всплывают анатомические трудности. К примеру, весьма примитивный мозг и непригодность змей к дрессировке. Калибровка такой системы будет напоминать сущий кошмар! Это не говоря о том, что конечная цель таких процедур остаётся неясной даже своему автору.
Впрочем, обкатка аугментов на животных позволяет отточить методы интеграции нервной системы и бионического протеза до новых высот. Велика вероятность, что в этом деле лучше всего себя покажут млекопитающие. Мыши, крысы и приматы куда ближе к человеку, чем рептилии. К тому же они лучше поддаются дрессировке и согласны выполнять команды хозяина.
А дальше что?
Не секрет, что нынешние прототипы дополнительных конечностей далеки от совершенства. Чтобы третьи, а то и четвёртые руки проникли в наш быт и стали работать на производстве, им следует пройти свой путь эволюции. Здесь есть над чем работать. Носимым экзоскелетам нужно стать максимально лёгкими, экологичными и высокопроизводительными. Эти аспекты автоматом формируют новую заявку в области материаловедения и разработки аккумуляторных батарей нового типа.
ЭкоГ-датчикам хорошо бы стать миниатюрными и войти в состав чего-то вроде шлема дополненной реальности. У разных людей головной мозг работает по-своему, так что у нейрофизиологов и кодеров есть много работы по выявлению общих алгоритмов функционирования нервной системы и разработке профильного ПО.
Программное обеспечение не может работать без «железа». Значит, носимые процессоры должны быстро обрабатывать колоссальный массив данных, функционировать бесперебойно и тратить на это как можно меньше энергии.
Вопрос энергетической инфраструктуры крайне актуален и для исполнительных узлов. Мало кто захочет быть привязанным к розетке, а таскать на себе громоздкие батареи — тоже сомнительное удовольствие.
Работа инженеров и кибернетиков только начинается. Нас обнадёживает тот факт, что первые прототипы уже доказали своё право на жизнь. У них есть впечатляющие перспективы по части совершенствования и удешевления. Этого вполне можно достичь, если бионика вырвется за пределы штучных лабораторий.
| И тут мы возвращаемся к змеям Алена Пэна. Да, блогер создал забавную игрушку, но своим примером он доказал: кибернетикой можно заниматься и в гараже. DIY-проекты не требуют многомиллионных бюджетов и реализуемы в рамках небольшого стартапа. |
Кто знает: быть может, где-то в мире уже трудится неизвестный умелец, который вот-вот явит человечеству прорывной концепт. Работа в неидеальных, а порою и весьма спартанских условиях зверски мотивирует искать творческие решения и применять нестандартный подход к решению возникающих задач.
Если привлечь к этому деньги независимых инвесторов, то в индустрии появятся десятки конкурирующих проектов. Законы рынка и правила конкуренции позволят отделить мух от котлет. Вкупе эти факторы гарантированно приведут к выходу кибернетики на новые высоты.
Источники
1. Иллюстративный материал взят из открытых источников и принадлежит правообладателям.
2. Дополнительные материалы включены в текст как гиперссылки.
Автор: Никита Игнатенко.
НЛО прилетело и оставило здесь промокод для читателей нашего блога:
— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS
