Учись глазами. Как айтрекер помогает обездвиженным

09.11.2021

Привет, я Иван Бакаидов.

Вы знаете, что я много лет делаю софт, который помогает людям с тяжелыми нарушениями общаться с миром. Хочу немного рассказать о том, чем занимаюсь последний год, также мне нужна помощь разработчиков браузерных игр.

За эти годы я пришел к использованию устройств отслеживания положения взгляда Tobii для коммуникации с тяжелыми формами инвалидности.

В прошлом году я начал сотрудничать с фондом “Близкие Другие”. У нас был интересный опыт, когда несколько десятков семей научились работать с айтрекером с использованием моих open-source программ.

В этом году мы решили масштабировать этот опыт и для этого сделать бесплатный методический курс, которым может воспользоваться любая семья самостоятельно.

Учись глазами. Как айтрекер помогает обездвиженным
Юра Дудь пробует LINKa смотри, на разработку которой он выделял деньги.

Для тех, кто не знает, кто я, в спойлере мой манифест.

Коммуникация – основа человеческой жизни,
Многие, в силу разных обстоятельств, лишены возможности привычных коммуникаций.
Я, Иван Бакаидов, применяю современные технологии и разрабатываю интерфейсы, чтобы помочь людям снять эти ограничения:
Людям с проблемами речи — сделать удобный интерфейс с синтезатором голоса
Людям с ограничением двигательных способностей — быстро писать текст.
Людям с тяжелыми двигательными нарушениями — применять альтернативный ввод, при помощи айтрекера, формируя высказывание глазами.
О проблемах неговорящих людей я знаю не понаслышке, ведь у меня ДЦП и я очень непонятно говорю.
Много раз я попадал в ситуации в которых неспособность ответить людям ставило меня положение “третьего лица”, человека не с которым, а о котором говорят.
Это ужасное положение.
Всё изменилось, когда я разработал LINKa, программу, которая читает написанный текст. Я перестал держаться людей, которые понимают мое мычание, и смог путешествовать, работать, знакомиться с новыми людьми.
Это потрясающий путь к жизни и я хочу дать пройти его всем, у кого есть проблемы речи.
Поэтому моя задача изобретать интерфейсы, которые помогут сказать каждому.

Про опыт.

За год работы проекта фонд купил оборудование более 20 семьям. В ходе проекта “Учись глазами” мы установили необходимость не только в закупке оборудования, но и в работе дефектолога с семьями. Дефектолог помогает с помощью айтрекера установить и развить коммуникативные навыки в семьях с детьми с нарушениями развития.
В комплект оборудования входит ноутбук и eye tracker, устройство, которое сообщает компьютеру точку взгляда на экране. Почитать подробнее о трекере тут.

В ходе работы отлично зарекомендовала себя идея программы LINKa смотри. Простейшая система, которая позволяет составить родителю или специалисту “доску” карточек, оказалась очень гибкой и дала возможность конструировать сценарии от простейших (выбор из двух карточек) до игры в мемо.

Жизненное видео.

Про курс.

Получив крайне интересный и положительный опыт, мы перешли к его институализации в виде курса. Курс будет состоять из онлайн-лекций и видео мастер-классов для родителей и методистов, а также специализированного программного обеспечения для проведения занятий с eye tracker: игры — для развития навыка управления взглядом, и коллекции наборов карточек — для коммуникации с миром. В том числе для коммуникации в начальных классах школы.

Мы приступили к работе над специализированными играми, рассчитанными на разные аспекты развития навыка управления компьютером при помощи взгляда:
— осознание процесса взаимодействия с экраном (демонстрация направления взгляда, удержание взгляда на объекте для его выбора);
— тренировка управления взглядом (игры на скорость, зоркость и внимание);
— удовольствие (арканоид, волк и яйца).

Классика

Вопросы:

Основная цель поста — посоветоваться с выбором технологий.
Первая версия игр была написана на Unity, но мы пришли к выводу, что разработка на этом стеке слишком дорогая.
Я написал оболочку для запуска игр на electron, с поддержкой драйвера tobii eye tracker, а также несколько простых игр, используя paper.js для работы с Canvas.
Пример игры Волк и яйца.
Также мы написали технические задания для игр.

У меня есть важный технический вопрос к сообществу:
На чём лучше писать игры на paper.js, phaser.io, construct.net или чём-то другом?