Так уж совпало, что в прошлой нашей статье мы рассказывали о том, как слепые пользуются компьютером и даже становятся успешными программистами, а сегодняшний материал посвящён глухим. Оказывается, они не только могут ходить на концерты и воспринимать музыку, но даже становиться знаменитыми исполнителями и композиторами. Наш мозг способен удивительным образом приспосабливаться, особенно, если немного ему помочь.
Эвелин Гленни — шотландская перкуссионистка и композитор, обладательница премии Грэмми, которая даёт по сотне концертов в год. А ещё она глухая с 12 лет. Гленни потеряла слух на 90% из-за заболевания нервной системы и в тот же период начала обучаться игре на ударных. Ее учитель задумался, как можно использовать вибрации, исходящие от литавр после удара, в обучении девочки. «Он попросил меня прижать ладонь к стене», — рассказывает Гленни. Она могла чувствовать первый удар по барабану, а ещё – вибрации, которые этот удар порождал. «Моё тело будто замедлилось, потому что я отдала всё внимание тому, как перемещается звук», — объяснила она. «Я следила за звуком всем телом. Это изменило для меня всё. Изменило то, как я воспринимаю прикосновения». Так Гленни научилась различать высоту музыкальных нот.
Многие люди с нарушениями слуха ходят на концерты или наслаждаются музыкой у себя дома посредством осязания, зрения и движения. Некоторые уникумы, такие как Гленни, играют на музыкальных инструментах или профессионально поют. Сегодня ученые узнают всё больше о том, как наши тела и мозг обрабатывают вибрации, проводят множество новых исследований. В процессе они осознают, как музыка проходит сквозь нас, создавая симфонии чувств. Всё это может помочь глухим людям лучше оценить сложность и эмоциональный диапазон музыки как в качестве слушателей, так и в роли исполнителей.
Люди с обычным слухом воспринимают музыку и другие звуки через вибрации определенных частот — в слышимом диапазоне от 20 до 20 000 герц, — которые распространяются по воздуху и улавливаются крошечными сенсорными клетками улитки, органа нашего внутреннего уха. Но музыку можно воспринимать и через осязание. Звуковые волны можно ощущать как давление воздуха на кожу или в форме вибрации, когда звук проходит через твердые материалы, такие как дека гитары или пол сцены, где их можно уловить руками, телом и ногами. Вибрации также могут ощущаться мембранами между костями и стенками внутренних полостей, таких как легкие и грудная клетка.
Глухие уже давно используют осязание для восприятия вибраций звука, это называется вибротактильным чувством. Некоторые люди с ослабленным слухом, которые любят посещать концерты, берут с собой воздушные шары, чтобы лучше чувствовать акустические вибрации через тонкую резину. А Гленни известна тем, что выступает босиком, так она может лучше чувствовать вибрации, пульсирующие на сцене. Говорят, что после того, как Бетховен стал глухим, он сделал себе что-то вроде слухового аппарата из палки: стиснул один конец зубами, а другой положил на пианино, чтобы улавливать вибрации музыки.
Благодаря сочетанию нервных «проводов» и практики у многих глухих от рождения развивается повышенная вибротактильная чувствительность. Это может выражаться по-разному. Нейробиолог и музыкант Фрэнк Руссо исследует, как электрические сигналы в мозге отслеживают биения, регистрируемые с помощью вибротактильных ощущений, и его исходные данные показывают разные результаты у глухих и слышащих людей. «До сих пор мы видели, что мозг глухого лучше справляется с представлением ритма, чем мозг обычного слышащего человека», — сказал Руссо, изучающий музыкальное познание, акустику и слуховое восприятие в Университете Торонто Метрополитен.
У глухих людей часть мозга, обрабатывающая звук, часто переназначается. Без притока звуковых сигналов слуховая кора может перестроиться, чтобы получать сигналы от других органов чувств, таких как осязание и зрение. Каждая часть мозга обычно так или иначе используется. Исследование Finc, опубликованное в 2020 году, показало, что у тех, кто стал глухим в раннем возрасте, цепи мозга реорганизовались, чтобы приспособиться к потере слуха. Различным сетям пришлось научиться общаться друг с другом по-новому. Например, было обнаружено, что сеть, связанная с вниманием и решением проблем, более тесно связана с сетями, которые координируют двигательные реакции, зрительные системы и память.
Поскольку у каждого слабослышащего человека своя история знакомства с музыкой и каждый мозг уникален, то степень развития вибротактильного чувства может различаться. В любом случае, вибрация, передаваемая через прикосновение, может раскрыть множество музыкальных тонкостей, которые исследователи сейчас измеряют.
Нейробиологи, изучающие сенсорное восприятие, исторически сосредотачивались на слуховой и зрительной системах. Вибротактильное чувство менее изучено. «Мы почему-то пренебрегаем этим ощущением вибрации», — говорит Марио Прса, нейробиолог из Университета Фрибура в Швейцарии. В 2016 и 2017 годах, когда Прса был постдоком в лаборатории нейробиологии Даниэля Хубера в Женевском университете, он исследовал, как улучшить контроль разума над протезами. Чтобы научить мышей активировать определенные нейроны в моторной коре, ключевой области для регуляции движения, он попытался дать им обратную связь в виде вибраций.
Документируя результаты, он случайно обнаружил удивительное поведение нейронов соматосенсорной коры: разные наборы нейронов наиболее интенсивно реагировали на разные частоты вибрации. Прса решил порыться в научной литературе, чтобы узнать, что другие учёные успели узнать о поведении нейронов, за которыми он наблюдал. Он ничего не нашел. Ему не удалось обнаружить описаний частотно-специфических реакций нейронов на вибрацию. Поэтому Прса и его коллеги из Женевского университета решили провести несколько экспериментов. Когда они отправили вибрации с разной частотой и интенсивностью через металлический стержень на кончики пальцев человека и передние конечности мыши, то подтвердили, что разные частоты вызывают ответы от разных нейронов.
Это было важным открытием, поскольку слуховая система человека ведет себя аналогичным образом. На самом деле, сенсорные системы, отвечающие за слух и осязание, во многом перекрываются. Даже у слышащих людей сигналы от вибротактильного входа могут быть обнаружены слуховой корой, а тактильные и слуховые стимулы могут быть перепутаны при совместном или поочередном восприятии. Слух даже способен повлиять на тактильное восприятие, например, является ли пергаментная бумага шероховатой или гладкой. Как при слухе, так и при осязании механизм восприятия вибрации по существу одинаков: сенсорные нервы, называемые механорецепторами, расположенные в улитке и по всему телу, изгибаются в ответ на изменения давления, запуская нервный импульс, который отправляется в мозг. Многие существа, например, некоторые насекомые и грызуны, до сих пор в основном общаются с помощью вибраций, и нейробиологи даже предположили, что слух развился у более сложных животных из вибротактильного чувства.
За последнюю пару десятилетий инженеры создали множество вибрирующих устройств, которые призваны помочь глухим людям ощутить больше нюансов музыки: специальные куртки, перчатки и браслеты для слушателей, барабанные табуреты и платформы для музыкантов. Одно устройство, недавно протестированное на концерте в Лас-Вегасе компанией Not Impossible Labs, разрабатывающей инновационные медицинские технологии с открытым исходным кодом, напоминает рюкзак. Он состоит из серии беспроводных датчиков, предназначенных для усиления и передачи вибраций разных частот, которые закрепляются на спине, плечах и талии человека, а также на лодыжках и запястьях.
Но многие из существующих инструментов все еще относительно грубы и в основном передают только басы и биты. Гленни, которая пробовала вибрирующие платформы, стулья и браслеты, говорит, что ее беспокоит то, что подобные устройства могут урезать тактильные ощущения от музыки. Ученые только начинают понимать, как с помощью прикосновения улавливать и передавать истинную сложность, глубину и эмоциональный диапазон музыки, переводить богатый вокал, глубокие басовые ноты и звенящие гитарные риффы в тактильные вибрации с замысловатым сочетанием частот и интенсивности, которые можно прекрасно прочувствовать.
«Если мы можем оптимизировать использование вибрации с помощью технологий, чтобы улучшить качество музыки для людей с нарушением слуха или глухотой, то почему бы и нет?» — спрашивает Руссо. «Мы наблюдаем расцвет этих технологий».
Так проект Musical Vibrations, который предоставляет оборудование для преобразования музыки в вибрацию, предложил свою технологию глухому рэперу SignKid. Это помогло ему не отставать от ритма. Они загрузили одну из его песен в оборудование, которое преобразовало треки с бас-гитарой, гитарой, бочкой и малым барабаном в вибрации. SignKid ставил босые ноги на два шейкера — красные и белые канистры, увенчанные круглыми пластинами, — которые производили вибрации. Рэпер ощущал эти вибрации ступнями. SignKid оценил новый опыт, и команда Musical Vibrations одолжила ему оборудование для создания альбома 2019 года The Visual Experience.
Некоторые преимущества тактильных вибраций в отношении музыки очевидны: они могут эффективно передавать ритм. Анализ Руссо, сделанный с помощью ЭЭГ, показывает, что сигналы мозга пульсируют в такт музыкальному ритму. При этом не важно, каким образом передавался сигнал: через слух или прикосновение. По его словам, картина не такая четкая с «более фанковыми» последовательностями, которые имеют неравные временные интервалы. Но прикосновение также может передать гораздо более подробные аспекты музыки. Амплитуда звуковой волны, которая преобразуется в громкость в слуховой системе, ощущается вибротактильной сенсорной системой как интенсивность давления. Частота создает ощущение высоты тона в обоих режимах.
Однако мы не так чувствительны к изменениям вибрации, как к изменениям звука, что затрудняет определение высоты тона. Согласно исследованию Карла Хопкинса, руководителя проекта Musical Vibrations , даже при обучении использованию вибрации, определение разницы между соседними нотами, такими как до и до-диез, оказалось затруднительным как для глухих, так и для слышащих людей. Тем не менее, наши тела могут определять посредством прикосновения основные повышения и понижения высоты тона, из которых состоят мелодии. Мы также можем различать с помощью вибротактильного чувства высоту тона многих нот, воспроизводимых музыкальными инструментами и человеческим вокалом, хотя этот диапазон уже, чем у звука.
В то время как наши уши наиболее чувствительны к частотам от 2000 до 5000 герц, вибротактильный диапазон обычно находится между 5 и 1000 герц. (Для справки: диапазон низких частот для мужчин обычно находится в диапазоне от 75 до 100 герц.) Это означает, что многие из самых высоких тональных частот, которые обычно воспринимает ухо, не могут быть уловлены вибротактильным чувством или не могут быть точно идентифицированы. Но это также означает, что мы можем чувствовать определенные низкие частоты, даже если мы их не слышим.
С помощью вибраций люди также могут определять различия в тембре. «Даже если вы возьмете два фортепиано, они не будут иметь совершенно одинаковый тембр», — сказал Руссо. «Они оба могли бы играть среднюю до, но в рояле есть что-то более яркое, чем, например, в пианино». Просто прикоснувшись к вибрирующему гаджету и слышащие, и глухие люди продемонстрировали способность различать виолончель, фортепиано и тромбон, а также глухие и яркие звуки.
Прса и его сотрудники изучают, являются ли определенные комбинации частот более приятными для вибротактильной сенсорной системы, чем другие. «Существует ли такая вещь, как вибротактильная октава?» Прса задумался. «Есть ли что-то похожее на диссонирующие ноты?» Он и его сотрудники начали исследовать эти вопросы с помощью простого эксперимента: проверить, насколько легко глухие и слышащие участники могут распознавать основные мелодии, такие как «Happy Birthday», с помощью вибраций, ощущаемых при прикосновении. Преобразование звука в вибрации, которые можно ощутить, — несовершенная наука. Поскольку диапазон частот, воспринимаемых на ощупь, уже и ниже, чем диапазон, воспринимаемый на слух, и поскольку труднее различить соседние тона, некоторые ноты при этом изменяются. Прса хотел посмотреть, как эти изменения — в частности, расстояние между одной частотой и другой — влияли на способность испытуемых идентифицировать мелодию. Результаты этой работы еще не опубликованы.
Исследователи также пытаются понять, какая часть эмоций в музыке передается через вибротактильные ощущения. «С помощью вибрации вы можете получить важные аспекты голосовых эмоций», — сказал Руссо. «Вы можете почувствовать усталость в чьем-то голосе, твердость в чьем-то гневе». Для Гленни низкочастотные вибрации несут больше всего эмоций, в то время как высокочастотные вибрации их лишены. Байрон Ремаше-Винуэса из Университета Малаги описал эмоциональный диапазон тактильных вибраций в различных терминах: «Переключать музыку со звука на вибрацию — это все равно, что есть любимое блюдо, которое готовила ваша мама, только в виде пюре». Это просто не тот эмоциональный опыт. Но он вдохновлён идеей создания новой музыки с нуля исключительно с помощью вибраций — без звука — возможно, с помощью уникальных инструментов, предназначенных для создания только вибраций, или с помощью программ.
Еще одним препятствием для перевода существующей музыки в вибрацию является разделение различных звуков. «Многие современные технологии пока могут обрабатывать только музыку, которая уже разделена на отдельные аудиодорожки для каждого инструмента или слоя нот», — сказал Марк Флетчер из Института исследования звука и вибрации Саутгемптонского университета. Но, по его словам, сложно хорошо «демикшировать» звук. Даже самые продвинутые алгоритмы, передающие музыку на вибрирующее оборудование, с трудом понимают, как более низкие и более интенсивные вибрации маскируют другие, и как разные инструменты могут привлекать больше внимания в разные моменты песни. Без надежных способов разделения различных инструментов в музыкальной композиции и составления сбалансированных сигналов, вибрации, исходящие из этих систем, будут лишены нюансов, присущих музыке.
За годы исследований Хопкинс видел, как многие слабослышащие люди тестировали систему его команды, принимая вибрации руками и ногами. Некоторые предпочли способы, которыми они уже взаимодействовали со звуком. Гленни, например, ценит сложность вибраций, которые она может ощущать своим телом, когда они исходят непосредственно от различных инструментов и от встроенной среды концертных залов или репетиционных комнат. Но она рада, что эти эксперименты продолжаются и что более широкие слои населения получат возможность опробовать технологии.
Некоторые глухие увлекаются ощущением музыки, передаваемой вибротактильными инструментами. Одна испытуемая сказала Хопкинсу, что никогда не понимала разницы между белыми и черными клавишами на фортепиано. А когда команда привезла свою вибрационную систему в школу для глухих, учителя сообщили, что учащиеся стали намного больше заниматься музыкой. «Дети действительно прониклись этим», — сказал Хопкинс. Один мальчик возвращался во время перерыва, стучал в дверь и спрашивал: «Можно я снова поиграю на оборудовании?»
