TRIBE v2 от Meta*: новая нейросеть предсказывает активность мозга по видео, аудио и тексту

Корпорация Meta* представила TRIBE v2 — усовершенствованную нейросеть, способную прогнозировать реакции человеческого мозга на основе синтеза видео, аудио и текстовых данных. Эта разработка предлагает инновационный инструментарий для нейробиологии, позволяя детально имитировать отклик нейронных структур на комплексные внешние стимулы.

TRIBE v2 (Tri-modal Brain Encoder) базируется на мультимодальной архитектуре, интегрирующей информацию из трех независимых каналов. В процессе обучения модели был задействован массив данных, включающий свыше 1000 часов фМРТ-сканирований 720 добровольцев. Система с высокой точностью реконструирует активность в 20 484 вершинах кортикальной поверхности и 8 802 вокселах подкорковых зон (включая таламус, базальные ганглии и гиппокамп). Таким образом, TRIBE v2 анализирует нейронную динамику не только на поверхности коры, но и в глубинных структурах мозга, формируя полноценную трехмерную карту активности, что делает её одной из самых совершенных аналитических моделей в индустрии.

Фактическим фундаментом TRIBE v2 стали специализированные нейросети: V-JEPA 2 для обработки визуального ряда, Wav2Vec-Bert для аудиопотока и Llama 3.2 для семантического анализа текста. Синтез этих данных осуществляет трансформер с 1 миллиардом параметров, который моделирует временные зависимости и взаимосвязи между модальностями. Благодаря механизму «modality dropout», архитектура сохраняет способность к прогнозированию даже при частичном отсутствии входных сигналов.

Визуализация: Meta*

TRIBE v2 успешно воспроизводит результаты классических нейрофизиологических экспериментов, безошибочно идентифицируя специализированные области, такие как FFA (распознавание лиц), PPA (восприятие локаций) и VWFA (обработка письменной речи). Модель также эффективно справляется с когнитивными задачами, разделяя речевые сигналы и посторонние звуки или интерпретируя сложные синтаксические конструкции. Высокая степень генерализации позволяет системе точно предсказывать реакции на совершенно новые стимулы без дополнительной настройки.

Эффективность TRIBE v2 подтверждается тем, что модель объясняет порядка 54% вариативности мозгового сигнала, а в отдельных зонах этот показатель достигает 80%, что существенно превосходит возможности традиционной функциональной МРТ. Примечательно, что групповой усредненный ответ нейросеть предсказывает точнее, чем индивидуальные записи живых участников. Это открывает путь к исследованиям «in-silico», позволяя ученым тестировать гипотезы и моделировать работу мозга без проведения дорогостоящих и сложных клинических процедур.

Разработка подтверждает действие законов масштабирования: точность аппроксимации нейронной активности неуклонно растет по мере увеличения объема обучающей выборки. Это делает TRIBE v2 перспективным фундаментом для дальнейших разработок, особенно учитывая её способность адаптироваться к новым условиям при минимальном количестве вводных данных.

Несмотря на технологический прорыв, TRIBE v2 имеет ряд ограничений. В текущей итерации не учитываются сенсорные каналы обоняния и осязания, а мозг рассматривается в роли пассивного реципиента информации. Кроме того, модель лимитирована временным разрешением метода фМРТ, что затрудняет фиксацию мгновенных нейронных импульсов. Тем не менее, потенциал для масштабирования превращает её в мощнейший инструмент для будущих открытий в области нейронаук.

* Компания Meta (Facebook и Instagram) признана экстремистской и запрещена на территории РФ.

Источник: iXBT