С каждым годом грань между человеком и машиной становится тоньше. Конечно, до уровня «Deus Ex» еще далеко, но уже сейчас имеются разного рода протезы, аугментации и другие устройства, работающие в тесной связи с нервной системой пользователя. Одним из ярчайших примеров подобного футуризма является НКИ (нейрокомпьютерный интерфейс), обеспечивающий обмен информацией между мозгом и компьютером. Проблема в том, что для полноценной работы НКИ требуется незначительный апгрейд со стороны пользователя — вживление в мозг электродов. Звучит это гораздо зловещее, чем есть на самом деле, однако не все считают подобный метод самым эффективным. Ученые из Калифорнийского технологического института (США) разработали систему, которая позволяет считывать активность мозга с помощью неинвазивного метода на основе ультразвука. Как именно работает созданное устройство, что ученым удалось увидеть в мозгах подопытных, и насколько точна данная разработка? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.
Основа исследования
Суть нейрокомпьютерного интерфейса достаточно проста — считывание нейронной активности мозга человека, чтобы понять его намерения. Полученная информация может использоваться в качестве сигналов для управления нейропротезными устройствами. Утрировано говоря, с помощью НКИ человек может управлять как курсором мыши (без самой мыши), так и электронным протезом силой мысли.
Именно в области протезирования данная технология привлекает наибольшее внимание. Так как не всегда есть возможность использовать протезы, считывающие сигналы нервных окончаний в области контакта или сигналы мышечной активности. НКИ позволяет обойтись без периферических посредников и напрямую связать пользователя (то бишь мозг) и устройство.
Самые современные нейронные интерфейсы основаны на внутрикортикальной (внутри коры головного мозга) электрофизиологии, которая обеспечивает прямой доступ к электрическим сигналам нейронов с превосходным временным разрешением. Проблема данной методики в необходимости имплантировать электроды, что делается посредством операции на открытом мозге. Очевидно, что подобные процедуры имеют серьезные последствия в виде хронического повреждения тканей и разрушения материала имплантатов. Кроме того, инвазивные электроды трудно масштабировать, и они имеют ограниченную плотность выборки, а посему не могут охватывать активность всего мозга.
Логичным решением этой проблемы является разработка неинвазивного метода подключения устройства к мозгу. Одним из вариантов является неинвазивная электроэнцефалография (ЭЭГ), работа над которой ведется еще с 1973 года. Однако производительность ЭЭГ ограничена топографическим представлением активности больших объемов мозга и дисперсией сигнала по объемной проводимости через различные ткани и кости.
В рассматриваемом нами сегодня труде ученые предлагают альтернативу в виде НКИ на базе функциональной ультразвуковой визуализации (fUS от functional ultrasound). fUS позволяет визуализировать региональные изменения объема крови с помощью сверхбыстрой допплеровской ангиографии. Данный метод обеспечивает отличное пространственно-временное разрешение (<100 мкм и 100 мс) и высокую чувствительность (скорость ~ 1 мм/с) с большим полем зрения (в несколько сантиметров, что довольно много для такого рода устройств). fUS был разработан еще в 2011 году. С тех пор его часто использовали для визуализации нейронной активности во время эпилептических припадков, обработки обонятельных стимулов и выполнения поведенческих задач у грызунов. Также проводились опыты с голубями, хорьками и приматами. Кроме того, fUS в 5-10 раз лучше с точки зрения пространственно-временного разрешения и чувствительности по сравнению с fMRI (от functional MRI, т.е. функциональное МРТ), за счет чего можно получить гораздо больше информации об активности мозга.
В ходе исследования были проведены опыты с двумя подопытными обезьянами: один был обучен выполнять саккады (резкие движения глаз) для фокусировки на объекте (отслеживать фигуры на экране), а второй — выполнять определенные движения по памяти (управлять рычагом). В ходе практических опытов ученые считывали нервно-сосудистую активность над задней теменной корой (PPC от posterior parietal cortex) через минимально инвазивное черепное окно.
Почему именно задней теменной корой? Данная область это зона ассоциаций, расположенная между зрительной и моторной областями коры. Она принимает активное участие в когнитивных функциях высокого уровня, включая пространственное внимание, мультисенсорную интеграцию и сенсомоторные преобразования для планирования движений. Саму PPC можно разделить на функционально специфичные подобласти: латеральная внутретеменная область (LIP от lateral intraparietal area) — планирование движения глаз (когда мы собираемся на что-то посмотреть); теменная область захвата (PRR от parietal reach region) — планирование движения захвата объекта (когда мы собираемся что-то взять в руки).
Ученые отмечают, что fUS позволяет одновременно визуализировать обе подобласти (LIP и PRR), т.е. они будут в пределах одного кадра (приблизительный объем среза 12.8 x 13 x 0.4 мм). Кроме того, поскольку PPC кодирует высокоуровневые аспекты планирования движений, она представляет собой уникальный источник сигналов управления перед фактическим движением.
Подготовка к исследованию
Подопытным эпидурально (поверх твердой мозговой оболочки) через черепное окно был установлен миниатюрный датчик (преобразователь) с линейной решеткой на 128 элементов (15 МГц). Этот датчик позволил получить fUS изображения, служащие основой для анализа нейро-сосудистых сигналов в PPC, связанных с выполняемой задачей. Преобразователь обеспечивал пространственное разрешение 100 x 100 мкм в плоскости, толщину среза ~ 400 мкм, покрывающую плоскость шириной 12.8 мм и глубиной проникновения 16 мм.
Изображение №1
Зонд был расположен перпендикулярно к поверхности в корональной ориентации на твердой мозговой оболочке над PPC (1a и 1b). Далее из имеющихся объемов были отобраны интересующие плоскости (1c–1f).
В частности, были выбраны плоскости, которые демонстрировали поведенчески настроенную гемодинамическую (движение крови) активность и захватывали как латеральные, так и медиальные стороны внутретеменной борозды (IPS от intraparietal sulcus; сенсорно-моторная координация) на одном изображении. Это позволяло оценивать роли нескольких областей мозга одновременно. А геометрия ультразвукового изображения позволила получить доступ к кортикальным областям в бороздах.
Изображение №2
Суть практических опытов заключалась в том, что обезьяны должны были запоминать расположение объекта, расположенного в левой или правой части экрана, и выполнить движение после того, как погас объект в центре экрана (2а). Фаза запоминания была достаточно длинной (5.1 ± 1.4 с), чтобы фиксировать переходную гемодинамику. Суммарно были собраны данные 30 опытных заходов, выполненных в течение 18 дней. Каждый день выполнялось до 5 заходов, каждый из которых включал 30-минутные случайно сгенерированные цели для одной задачи.
Для визуализации пространственно-временных паттернов латерализованной активности в PPC (2b) были использованы статистические параметрические карты, основанные на t-критерии Стьюдента (пример расчета t-критерия Стьюдента).
В результате наблюдались связанные с задачами средние (ERA от event-related average) изменения церебрального объема крови (CBV от cerebral blood volume) из локализованных областей размером 100 x 100 мкм (2c–2f). На снимке 2g представлена типичная карта активности второго подопытного, а на 2h–2i его ERA.
Сигналы нервно-сосудистой активности наблюдались на латеральной стороне IPS, то есть в LIP, для обоих животных. При этом формы волн ERA были аналогичны между подопытными в этой области.
Высокая чувствительность и пространственно-временное разрешение fUS позволяют различать функции между соседними областями в масштабе сотен микрон, например внутри субрегионов PPC, таких как LIP.
Например, вторая область LIP (2d) также демонстрирует контралатеральную настройку, но разница в активности возникает позже в периоде запоминания и сохраняется в период движения и в период между опытами.
Один подопытный (обезьяна H) показал подобную направленную реакцию в медиальной теменной области (MP от medial parietal) на медиальной стенке полушария. Но у обезьяны L подобного эффекта не было обнаружено, поскольку в ее случае расположение зонда было оптимизировано под область LIP, а не MP, которая в таком случае находилась за кадром. Однако такая настройка дополнительно подтверждает роль MP в направленном движении глаз.
Процесс декодирования сигналов
Перед рассмотрением результатов практических опытов ученые напоминают, что основная задача НКИ заключается в предсказании предстоящего предполагаемого действия за счет сигналов мозга. Чтобы понять, помогает ли fUS визуализация реализовать эту задачу, было проведено прогнозирование направления предстоящего движения глаз подопытного на основе одного тестового захода.
Изображение №3
На схеме 3a показана графическая интерпретация процесса декодирования сигналов мозга на основе fUS данных. Использовался классовый анализ главных компонентов (CPCA от classwise principal component analysis), уменьшающий размерность* данных, но сохраняющий достаточного количества компонентов для получения >95% дисперсии данных.
Снижение размерности* — процесс преобразования данных, когда число переменных уменьшают путем получения главных переменных.
Далее была использована обычная регрессия наименьших квадратов (OLSR от ordinary least squares regression) для регрессии преобразованных PCA данных, полученных в период перед фактическим выполнением движения.
Чтобы проанализировать временную эволюцию сигналов PPC, связанных с выполнением задачи, направление движения во времени расшифровывалось через этапы каждого опытного захода: фиксация (взгляд на центральном объекте), запоминание и движение.
Для каждой временной точки использовались все предыдущие данные как из обучающих, так и из тестовых данных. Например, при t = 2 с в наборы данных «обучение» и «тестирование» необходимо было включить все данные за t = от 0 до 2 с.
Полученные в результате кривые (3b) показывают точность на уровне случайности во время фазы фиксации, незначительные изменения во время фазы запоминания и стабильную точность декодирования во время фазы движения.
Во время фазы запоминания точность декодера достигала 2.08 с ± 0.82 с после того, как подопытный получал сигнал направления, но до момента фактического движения. В дальнейшем точность декодера только возрастала.
При повторном анализе были удалены все данные из обучающей выборки. Это позволило определить объем данных, необходимых для достижения максимальной точности декодирования (3c). Спустя 27 опытных заходов точность декодера стала таковой, что для последующего предсказания и классификации движения необходимы были данные лишь из 10 тренировочных заходов. Максимальный уровень точности декодера был достигнут спустя 75 опытных заходов.
Другими словами, ученым удалось минимизировать объем данных, необходимых для точного распознавания сигналов мозга, при этом уровень точности этого процесса оставался достаточно высоким.
Дополнительно был проведен анализ, определяющий какая именно информация содержится в сигналах мозга, используемых декодером. Для этого был использован метод динамического декодирования, которому для обучения декодера нужны данные за период в 1 секунду. Далее проводилось декодирование предполагаемое направление из окон данных длительностью 1 с на протяжении всего опытного захода. То есть декодер должен был понять, что намерена делать обезьяна, проанализировав данные периода всего лишь в 1 секунду.
В результате был получен массив значений точности n x n, где n — количество проверенных временных окон. На 3d представлена точность для каждой комбинации «обучение/декодирование».
Результаты тестов
Изображение №4
Визуализация fUS обеспечивает высокое пространственно-временное разрешение и чувствительность, в отличие от метода fMRI. За счет этого можно получить данные касательно нейроваскулярной динамики в ранее труднодоступных масштабах.
Проверить это было достаточно просто. Если изменять размеры (по x — т.е. по поверхности зонда и по z — т.е. по глубине изображения) снимков, полученных в ходе опытов, то точность декодирования будет уменьшаться с увеличением размеров вокселей (4а).
Недавние исследования показали, что функциональная гиперемия начинается в сосудистом отделе, называемом первичной единицей. Этот отдел включает паренхиматозные артериолы (мелкие артерии перед капиллярами) и капилляры, то есть сосуды диаметром < 50 мкм. Отсюда скорость кровотока увеличивается в нижних капиллярах и верхних артериолах. Учитывая это, ученые решили, что большая часть функциональной информации, используемой для декодирования, будет найдена в сосудах с субразрешением (< 100 мкм) в плоскости изображения. Чтобы проверить эту гипотезу, сосудистые fUS-карты мозга (пространственно) сегментировали, упорядочив воксели по их средней силе доплеровской интенсивности и сегментировав их по децилям* (4b).
Дециль* характеризует распределение величин совокупности, при котором девять значений дециля делят её на десять равных частей. Любая из этих десяти частей составляет 1/10 всей совокупности.
В то время как децили 1-2 в основном захватывают подкорковые области, децили 3-8 захватывают корковые слои, где более поверхностные слои демонстрируют более высокую среднюю интенсивность. Децили 9 и 10 были в основном ограничены сосудистой сетью первичных единиц (крупные артерии, обычно на кортикальной поверхности и в бороздах). На 4c показана результирующая точность декодирования в зависимости от интенсивности доплеровского сдвига мощности.
Анализ данных показал, что нейрососудистая активность во время выполнения какой-либо задачи, измеряемая с помощью fUS, существует в основном в анатомии сосудов, расположенных в коре головного мозга. То есть наибольший вклад в кортикальные fUS сигналы вносили осевые скорости потока в диапазоне от 2 до 10 мм/с, что соответствует сосудам с диаметром < 50 мкм, т.е. именно артериолам и капиллярам.
Изображение №5
В заключение был проведен еще один тест, в котором подопытный должен был управлять рычагом, глядя на объекты на экране (5а). Данная задача была во многом аналогична задаче саккад, но взгляд животного оставался фиксированным на протяжении всего испытания, в том числе во время фаз фиксации, запоминания и выполнения движения.
ERA (связанные с задачей средние изменения) на латеральной стороне внутретеменной борозды в предполагаемых LIP (внутретеменная область) выявляют популяции, относящиеся к прогнозированию направления движения (5b–5c). Популяции на медиальной стороне в предполагаемой теменной зоне захвата (PRR) подобных характеристик не проявляют, но демонстрируют билатеральную настройку на фактическое движение (5d).
Эти результаты согласуются с электрофизиологическими записями, в которых нейроны PRR как популяция кодируют оба полушария, тогда как нейроны LIP кодируют в основном контралатеральное пространство.
Точность декодирования и ее временная эволюция были аналогичны тем, которые наблюдались в экспериментах с саккадами (5e). В частности, перекрестно проверенная точность декодирования целей варьировалась от 72.96% до 94.64% за тест длительностью 30 минут. Средняя точность для всех опытных сеансов составила 88.54%.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
Нейрокомпьютерные интерфейсы, несмотря на футуристичность концепции, становятся реальнее с каждым годом. Их функционал, характеристики и возможности расширяются, как и диапазон возможных сфер применения. Однако, как и в случае с любой другой относительно новой технологией, невозможно избежать проблем.
Одной из основных проблем реализации полноценного НКИ является необходимость в инвазивном подключении. Мало кто захочет переключать каналы, к примеру, если для этого понадобится вскрыть череп и вставить в мозг пару-тройку электронов. И дело даже не в неудобстве такого головного «аксессуара», а в опасностях которые он несет. Инвазивный метод подключения НКИ приводит к систематическим нарушениям структуры тканей и разрушению материала самого устройства.
Решением этой проблемы может стать функциональная ультразвуковая визуализация (fUS), позволяющая с невероятной точностью отслеживать активность мозга в указанных областях с разрешением до 100 мкм. А это действительно впечатляет, учитывая, что размер одного нейрона составляет приблизительно 10 мкм.
Авторы данной методики заявляют, что их детище гораздо производительнее, чем другие методы. Имплантированные электроды могут очень точно измерять активность мозга на уровне отдельных нейронов, но требуют прямого контакта с мозгом. fMRI (функциональная МРТ) не требуют имплантации и могут показывать активность всего мозга сразу, но оборудование для этого метода занимает целую комнату. Электроэнцефалография также не требует внедрения электродов, но пространственное разрешение у нее крайне мало. Но вот метод fUS, по словам ученых, лишен вышеперечисленных недостатков.
Принцип работы fUS основан на кровотоке в мозге. Когда в какой-то области мозга повышается активность, к ней увеличивается приток крови. fUS позволяет это отслеживать, предоставляя динамику кровотока мозга в пространстве и во времени с высоким разрешением. Анализ данных о кровотоке позволяет узнать какие именно области активны в определенный момент времени.
Точность fUS на данном этапе разработки практически вплотную приблизилась к методу с имплантированными электродами. Но в отличие от последних, fUS не нуждается в полноценной имплантации. Для работы с электродами необходимо вскрытие твердой мозговой оболочки, расположенной под черепом, и внедрение электродов непосредственно в мозг. В случае с fUS достаточно небольшого окна, способного пропускать ультразвук. На данный момент это окно делается путем вскрытия черепа, но без каких-либо вмешательств в сам мозг. Такой вариант значительно менее инвазивный, а потому и менее опасный.
В дальнейшем ученые намерены продолжить совершенствовать fUS, дабы достичь еще большей точности, а также провести опыты на людях, которым ввиду травм мозга была проведена трепанация части костей черепа.
Благодарю за внимание, оставайтесь любопытствующими и отличных всем выходных, ребята! 🙂
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
