Для современного человека технологии – это неотъемлемая часть жизни – её рабочий инструмент, средства коммуникации, передвижения, образования, комфортного быта. Они «костыли» нашего разума и физически ограниченного тела.
Но есть люди, для которых технологии имеют ещё большее значение и служат костылями не только в переносном смысле.
Одна из глобальных целей прогресса – снять все существующие ограничения. Особенности здоровья или болезни не должны становиться помехой для человека, влиять на возможности его самореализации и качество жизни.
Следуя этому правилу многие IT-компании, идущие в авангарде научно-технического прогресса, создают технологии и решения, которые позволяют людям с инвалидностью преодолевать свои ограничения. Об этой интересной грани прогресса мы сегодня и поговорим.
Одним из самых сложных и одновременно перспективных направлений в области инноваций остаётся разработка средств реабилитации для людей, которые имеют нарушения зрения или не видят вовсе. Оригинальность и технологичность проектов в этой сфере поражают воображение.
Искусственное зрение
Что такое протез – знает каждый. Люди с ограничениями здоровья начали использовать искусственные части тела уже тысячи лет назад. Современные протезы обладают бионической совместимостью, а иногда и функционалом, который стремится к тому, чтобы выполнять работу потерянной конечности.
А сегодня почти таких же успехов удалось добиться ученым, которые создают зрительные протезы. И речь идёт не о косметической замене глаза, а об имплантах, позволяющим полностью слепым людям вновь видеть окружающий мир.
В 2012 году был создан бионический глаз Argus II. Вживляемая часть представляет из себя электронный имплант сетчатки глаза, а внешняя система состоит из вмонтированной в очки камеры в комбинации с небольшим процессором. Такой протез фактически дарит зрение людям, живущим в полной тьме. С некоторыми оговорками, разумеется. Слепота пациента должна быть вызвана определёнными болезнями, а искусственное зрение протеза будет очень ограниченным.
Первая женщина, которой установили Argus II, стала довольно известной для российских специалистов. В декабре 2018 года она посетила форум «Надежда на технологии», посвящённый реабилитационной индустрии и поддержке людей с инвалидностью. Антонина приехала вместе с мужем, но передвигалась самостоятельно, а когда разговаривала, поворачивала голову так, будто прекрасно видит своих собеседников.
Она много лет прожила в абсолютной тьме, не видя ни лучика света. Но в 2017 году ей сделали операцию по внедрению протеза сетчатки. Тогда Антонине установили 60 светочувствительных электродов, настроили камеры и процессор внешнего устройства. Как только женщина надела очки – она прозрела.
Конечно, назвать полноценным зрением это нельзя: Антонина видит светлые и тёмные силуэты, препятствия, очертания предметов. Но главное она видит свет. После долгих лет тьмы. «Внуки больше не хотят играть со мной в прятки, зная, что я смогу их найти», – в шутку жалуется Антонина.
Вживую познакомиться с тем, как видят люди, использующие кибернетическую сетчатку может может любой желающий. Лаборатория «Сенсор-Тех», активно содействующая вживлению протеза, разработала VR-симулятор, демонстрирующий окружающую картину мира так, как её показывает Argus II. Приложение выложено в открытый доступ, его можно бесплатно скачать по одной из ссылок: App Store, Google Play.
Помимо бионического зрения, VR-симулятор Лаборатории «Сенсор-Тех», показывает большинство известных болезней и нарушений зрения. Разработка призвана помочь офтальмологам и другим специалистам понять пациентов, а простым людям – своих слабовидящих друзей и родственников.
Число людей, которые пользуются бионическим зрением, сегодня во всем мире уже перевалило за сотню. Из них только двое – граждане России. Установка зрительного протеза – дело очень сложное, высокотехнологичное и как следствие, очень дорогое. Обоим российским пациентам операцию целиком оплатил известный в России благотворительный фонд.
Но со временем прогресс неминуемо сделает решения для бионического имплантирования сетчатки проще, а технологии более доступными и эффективными. Через два-три десятилетия каждый человек сможет воспользоваться искусственным зрением, и тогда проблемы, связанные со слепотой, канут в историю.
Вы слышите? Нет, я так вижу
Но пока ни технологии, ни экономика не в состоянии обеспечить всех людей, потерявших зрение, бионическими имплантами. И прогресс ищет окольные пути. Их очень много и каждый заслуживает отдельного внимания.
Один из наиболее интересных – технология сенсорного замещения. Этот путь основан на механизме нейропластичности человеческого мозга. Фактически человеку предлагается воспринимать окружающую реальность «ушами».
Однако естественных природных звуков для того, чтобы «видеть» мир, недостаточно. Поэтому российский проект vOICe vision разработал концепцию звукового зрения.
Инженеры проекта создали устройство, которое с помощью камеры фиксирует окружающее пространство и преобразует картинку в звуки по определённой технологии. Звук воспринимается как аналог чёрно-белого изображения. А наушники костной проводимости, которыми снабжено устройство, не блокируют слуховой проход и не мешают восприятию окружающей обстановки.
По задумке разработчиков, vOICe vision заменяет один способ восприятия другим, причём без ограничений для второго. Человек слышит и «видит» одновременно, используя для этого один орган восприятия. Слух.
Чтобы превратить картинку в сигнал используются звуки различной длительности и высоты. Более яркий фрагмент изображения сопровождается сильным сигналом, причем с той стороны, с которой расположен объект. Если предмет в поле зрения движется, то движется и сигнал. Два отдельных объекта расшифровываются двумя сигналами, три – тремя и так далее. Повышение тональности «соседних» звуков означает препятствие, при этом чем выше тон – тем выше препятствие перед человеком.
Благодаря особенностям нейропластичности, мозг со временем перестраивается под условия, предлагаемые ему технологией vOICe vision. Участки коры, которые обычно отвечают за слух, учатся преобразовывать звуковые сигналы в зрительные образы. В результате, через несколько недель тренировки, полностью незрячий человек начинает «видеть» на уровне слабовидящего и даже различать образы, а со временем и предметы быта, вывески с крупным шрифтом и глубину пространства.
При надлежащим старании и тренеровках, мозг человека в буквальном смысле начнёт превращать аудио сигналы в соответствующее изображение, рельефное и объёмное, похожее на то, что передают нам наши глаза. И человек снова будет видеть, даже оставаясь слепым. Узнать больше о vOICe vision или связаться с разработчиками можно на официальном сайте проекта.
Искусственный интеллект теперь видит за вас
Идея «смотреть на мир ушами» популярна и за рубежом, пусть и в несколько другом технологическом формате. Представьте себе устройство, наделяющее «голосом» каждый окружающий человека объект – рабочий стол, дорожный знак или припаркованный автомобиль.
Устройство, внешне напоминающее очки, также сканирует пространство, но вместо «чёрно-белых» звуков выдаёт пользователю точное название объектов и расстояния до них. Это возможно благодаря технологиям искусственного интеллекта, который оперативно и точно обрабатывает изображение с камеры.
Именно на искусственный интеллект опирались разработчики отделения нейробиологии из Института трансляционных исследований им. Тяньцяо и Крисси Чена (Китай) создавшие систему CARA или Cognitive Augmented Reality Assistant [интеллектуальный помощник в дополненной реальности].
Система объединяет технологии дополненной реальности и цифрового зрения. Программа использует так называемые пространственные звуки, которые заставляют объекты звучать по-разному, в зависимости от их местоположения в комнате. Например, если объект находится слева от пользователя, то его голос будет звучать так, будто он исходит слева, и чем ближе находится объект, тем выше будет звучать его «голос».
Чтобы избежать потенциальной какофонии, когда все объекты говорят одновременно, ученые запрограммировали CARA на несколько различных режимов. В первом режиме окружающие объекты говорят только если пользователь посмотрит прямо на них. По мере того, как владелец устройства поворачивает голову, следующий объект, попавший в поле зрения, называет себя. Таким образом слепой человек может «оглядеться» вокруг, чтобы исследовать окружающее пространство.
Во втором режиме все объекты по очереди называют себя слева направо, независимо от взгляда пользователя. В третьем режиме — фокусном — пользователь выбирает конкретный объект и «общается» только с ним, используя его в качестве ориентира при навигации.
Дубайский вариант «умных очков» для слепых Amal 1 имеет несколько другой функционал. В отличие от китайского устройства, Amal 1 читает газеты и книги, напечатанные стандартным шрифтом, а также понимает изображение на мониторе компьютера. Такое устройство фактически позволяет незрячему человеку работать с текстом в печатном или электронном виде.
Кроме того, разработчик оснастил свой продукт GPS-системой, которая помогает слепым определять свое местоположение и выстраивать маршруты. Для экстренных ситуаций Amal 1 имеет функцию SOS, которая при активации мгновенно передаёт сообщение родственникам или специальным службам, прикрепляя к нему карту и фотографии с местонахождения пользователя.
Кстати, нечто похожее делают и в России. Лаборатория «Сенсор-тех» создала интеллектуального помощник для незрячих, который объединяет в себе основные функции зарубежных аналогов: сканирует пространство вокруг, угадывает объекты, а также распознает вывески и дорожные знаки. На отечественном рынке он больше известен, как «Умный помощник «Робин».
«Робин» похож на портативную видеокамеру и в дополнение к тому, что делают его зарубежные аналоги, умеет распознавать лица. А сигнал об окружающем пространстве передаётся не только звуком, но и вибрацией, подобно сонару или дальномеру, сообщая о расстоянии до препятствий или объектов. Узнать больше о «Робине» можно на сайте разработчика.
Ещё одно интересное решение предложила израильская компания ICI Vision. Хотя устройство бессильно помочь тотально слепым людям, оно может существенно облегчить жизнь слабовидящим.
Израильские очки Orama объединяют в себе искусственный интеллект, программное обеспечение для айтрекинга и технологию компьютерного зрения. Устройство включает в себя 3D-камеру и миниатюрный лазерный сканер, который проецирует объемную картинку на здоровые части сетчатки, позволяя человеку увидеть даже области поля зрения, которые исчезли у него из-за болезни.
Процедура картирования здоровых и поврежденных клеток сетчатки глаза позволяет настроить очки под индивидуальные особенности пользователя. В этом и заключается уникальность израильской разработки.
Здесь важно отметить, что при отдельных видах слепоты часть зрительных клеток может сохраняться, и человек может не видеть пространства вокруг, но видеть чёрные и белые пятна. Именно таких людей очки ICI Vision в перспективе вновь сделают зрячими.
Сейчас Orama предназначена для использования в помещениях. Очки позволяют носителю читать книги, смотреть телевизор и ориентироваться в пространстве. Благодаря этому уже сегодня устройство может помочь тем, кто испытывает трудности на рабочем месте.
Виртуальная реальность без ограничений
За минувший год более доступными стали и VR-технологии. Во всем мире проживает около 340 млн незрячих людей, и такие IT-гиганты, как Microsoft, не могут не учитывать этого. Несколько технологичных решений этой корпорации целиком ориентированы на тех, кто потерял свое зрение.
Так, в прошлом году инженеры Microsoft представили систему виртуальной реальности, адаптированную для тотально слепых людей. Взаимодействие с виртуальными объектами происходят в ней с помощью виртуальной белой трости и синхронизируемого с ней джойстика, оснащённого вибромотором и датчиками, отслеживающим её положение относительно шлема виртуальной реальности.
Такая трость позволяет почувствовать факт столкновения с объектами в VR-окружении, а также различать объекты и поверхности разных типов через виброотдачу и звук.
В рамках виртуальной симуляции пользователь может ходит по игровому помещению и двигать по сторонам короткой тростью-джойстиком, подобно реальной жизни, а в виртуальной реальности образ трости имеет гораздо большую длину, и когда трость сталкивается с препятствием тормоз останавливает движение трости, создавая ощущение настоящего столкновения.
В то же время мотор на трости вибрирует, а динамики в шлеме издают звук, соответствующий ситуации в виртуальном мире. Для разных поверхностей система имитирует разный тактильный отклик.
Последнии разработки Microsoft призваны включить слабовидящих людей в уже существующую виртуальную реальность. Месяц назад инженеры корпорации создали набор программных функций для VR-шлемов, которые упрощают восприятие виртуального мира.
Такой набор включает в себя 14 сервисов, которые адаптируют графику для людей с нарушениями зрения. В него входит повышение контраста, яркости, увеличения изображения, выделение контуров предметов, или перекрашивание их в разные цвета, а также звуковая аннотация объектов и действий.
Девять функций реализованы в виде простого плагина, доступного с любыми приложениями для шлемов HTC Vive. Остальные пять необходимо внедрять в приложение с помощью пакета для популярного игрового движка Unity.
Источник
