Натан Коупленд научился управлять роборукой при помощи мыслей, но движения были медленными. Теперь разработчики реализовали тактильную обратную связь
Натану Коупленду было всего 18 лет, когда он попал в автомобильную аварию и оказался парализован. Несчастье произошло в 2004 году, и с тех пор Натан практически не может двигаться, а также потерял чувствительность большей части тела. Правда, парализован он не на все 100% — сохранилась чувствительность запястьев и нескольких пальцев. Также он может немного двигать плечами. В больнице он стал одним из участников экспериментального исследования.
Команде Питтсбургского университета был нужен доброволец для отработки системы мысленного управления роботизированным манипулятором. Задача была простой — научиться совершать движения роборукой, просто думая о разных движениях. Все это — одна из работ по созданию нейроинтерфейса, позволяющего управлять механизмами или ПО при помощи мысли. Подобные работы проводят и компании вроде Kernel или Neuralink Илона Маска.
Коупленду повезло стать участником эксперимента, поскольку обычно критерии для отбора добровольцев крайне жесткие. У человека должна быть травма определенного типа, плюс доброволец должен жить относительно близко к лаборатории.
Но он соответствовал всем требованиям и выбрали именно его. Вскоре новичку провели операцию, в ходе которой к его моторной (двигательной) коре и соматосенсорной коре подключили электроды нейроинтерфейса. При помощи последнего ученые считывали электрические сигналы мозга, в основном — те, что возникали при мысли о намерении совершить движение пальцами или запястьем. Эти импульсы трансформировались при помощи компьютерной системы и передавались уже в интерфейс управления манипулятором. После трех сеансов работы с ним Коупленду удалось научиться работать с системой. В частности, он смог перемещать шарики и захватывать кубики со стола — просто думая об этом.
Но это было лишь начало. В исследовании, опубликованном на днях в Science, сообщается, в общем-то, сенсационная вещь — доброволец теперь ощущает прикосновения к предметам в собственных пальцах. Какого рода эти ощущения, не сообщается — да и передать словами подобные вещи сложно. Но то, что прикосновения роботизированного манипулятора к предметам ощущаются, как прикосновения к тем же предметам собственных пальцев — это факт.
По словам разработчиков, скорость реакции и движений роборуки ускорилась — раньше движения были замедленными. Добровольцу приходилось смотреть на то, что делает манипулятор и продумывать действия, корректировать их. Сейчас же к процессу добавилось еще и осязание, которое позволяет действовать рефлекторно. В некоторых случаях скорость движений манипулятора после добавления тактильного отклика увеличилась в 2 раза. Эту разработку без преувеличения можно назвать прорывом в вопросе возвращения дееспособности парализованным людям.
По словам команды исследователей, осязание — важный фактор в вопросе восстановления подвижности. Когда человек ощущает прикосновения, он способен действовать быстрее. Визуальное наблюдение за процессом менее эффективно, чем тактильные ощущения + зрительный контакт. Более того, если есть осязание, зрительный контакт и вовсе может отсутствовать. Когда обычный человек взаимодействует с каким-либо объектом, действия, в основном, зависят от ощущений.
Мозг человека получает информацию, обрабатывает ее и отправляет сигналы дальше по телу. Обычное действие, вроде обхвата чашки пальцами, не такое уж и простое. Во время движения пальцев мозг корректирует действия руки. Когда пальцы прикасаются к чашке, мозг получает обратную связь в виде осязательных ощущений и направляет руку так, чтобы захват был максимально эффективным.
Поскольку мозг добровольца не был поврежден, в теории он мог поддерживать «осязательный контакт» с пальцами. К сожалению, большая часть электрических сигналов в нервной системе участника эксперимента не доходила от мозга до конечностей. Соответственно, исследователям пришлось разработать систему, которая позволяет симулировать тактильные ощущения. Основной задачей было сделать так, чтобы ощущения были реальными и совпадали с действиями манипулятора. Так, когда роботизированный мизинец касается предмета, Коупленд должен был это почувствовать собственным мизинцем.
Для обеспечения обратной связи Коупленду имплантировали еще несколько электродов. Два набора электродов отвечают за анализ сигналов мозга при мысли о совершении действия рукой и еще два — симулируют сенсорные ощущения. На самом деле, обеспечить ощущение прикосновения можно при помощи слабого электрического сигнала в электроде. Нужно было синхронизировать генерацию таких сигналов с движениями манипулятора.
Чтобы создать такую систему, исследователи воспользовались тем, что у Коупленда сохранилась чувствительность в большом, указательном и среднем пальцах правой руки. Исследователи прикасались к ним ватной палочкой и анализировали при помощи ЭКГ сигналы, а также зоны мозга, где эти сигналы возникают. В итоге удалось понять какой участок мозга за какой палец отвечает. После этого ученые сгенерировали похожие сигналы и подали их на электроды. Доброволец почувствовал прикосновение, по его словам, он чувствует, как что-то касается основания пальцев в верхней части правой ладони. Это может быть давление, тепло или просто необычное покалывание, но не боль.
До внедрения тактильной системы Коупленд неплохо справлялся с задачей захвата и перемещения предметов. Тренироваться пришлось пару лет, но результаты были отличными: в то время, как обычному человеку на выполнение такой операции нужно около 5 секунд, Коупленду требовалось от 5 до 20. Дальнейшие тренировки результата не давали — доброволец как бы вышел на плато, без ухудшения или улучшения результатов.
Все изменилось после добавления тактильной системы — как и говорилось выше, результат сходу удалось улучшить в 2 и более раз. Конечно, вновь пришлось тренироваться, с учетом того, что тактильные ощущения у Коупленда не точно такие же, как у здорового человека. Сам он говорит, что стал действовать гораздо увереннее даже в ходе первого теста, ведь не нужно было полностью полагаться на зрение.
Если обратной связи нет, приходится полагаться только на зрение. В этом случае человек сначала должен убедиться, что предмет действительно захвачен. Если да — то нужен постоянный визуальный контроль во время его перемещения.
По словам экспертов, создание реалистичных сенсорных сигналов — большая победа. Это означает то, что ученые приблизились к задаче имитации естественных движений здорового человека. Важно, чтобы выполнение действия происходило без особых задержек. Тактильная обратная связь — как раз то, что помогает уравнять время, которое требуется на выполнение действия обычному человеку и человеку с повреждениями нервной системы.
У тактильной системы время обработки сигнала, лаг, составляет около 30 мс. У зрительной же системы — от 100 до 300 мс. Представьте, что вы пытаетесь ухватить скользкую чашку. Если задействовать лишь зрение, вы узнаете, что уронили ее, лишь после того, как увидите падающую чашку.
Несмотря на все успехи разработчиков, система все еще находится на стадии «лабораторный образец». Коупленд может работать с манипулятором лишь в лаборатории. Он не может носить его или брать с собой домой. Правда, у Коупленда есть упрощенная система, разработанная для того, чтобы он мог управлять личным ПК. Система достаточно продвинута, чтобы с ее помощью можно было играть в игры Sega Genesis на эмуляторе. Коупленд даже смог нарисовать котика и превратить его в NFT.
Еще одна проблема с системой в том, что она требует проводного соединения. Но эту задачу, кажется, решить проще, чем другие — наработки беспроводных нейроинтерфейсов есть у многих компаний.
Последнее — тактильные ощущения у Коупленда при прикосновении к предметам роботизированной рукой не всегда соответствуют естественным. Поэтому и контролировать захват/перемещение предметов ему все же сложнее, чем обычному человеку.
Но в любом случае, прогресс огромный. Можно уже с уверенностью говорить о том, что мозг человека по-прежнему привязан к его плоти, но уже не скован ею.
