Microsoft разработала мобильное приложение GazeSpeak, которое поможет людям, страдающим заболеванием двигательных нейронов (более известным как боковой амиотрофический склероз), общаться с помощью движений глаз. Программа использует функцию видеозаписи, чтобы определять направление взгляда по отношению сетки с буквами сзади устройства, и оснащена технологией искусственного интеллекта для предсказывания результата (четыре лучших предположения выводятся на экран).
Пользователи с боковым амиотрофическим склерозом лишены возможности двигаться, и взгляд остаётся единственным способом коммуникации. Мэттью Холлис, изучающий заболевания двигательных нейронов, заявил, что часто такие люди очень расстроены, когда пытаются общаться со здоровыми людьми, так что это приложение значительно облегчит процесс коммуникации. Технология также будет эффективнее, чем старые практики по использованию таблиц и специально обученных «переводчиков»: программа справляется всего за 78 секунд там, где человеку требуется 123 секунды.
Microsoft продемонстрирует разработку на конференции в Колорадо в мае. Приложение с открытым исходным кодом станет доступно только для iOS и будет бесплатным.
По сообщению из другого источника:
Исследователи из Microsoft при участии специалистов из Университета Вашингтона представили удобный, а главное — недорогой метод ввода текста взглядом. Новая разработка станет более доступной для людей с недостатком двигательной способности, к примеру, страдающим боковым амиотрофическим склерозом, который диагностирован у Стивена Хокинга. Программа Eye-gaze работает на обычном смартфоне и следит за глазами пользователя посредством камеры устройства. Преимущество представленной технологии заключается в том, что из дополнительного оборудования понадобится лишь изображение с буквами, а сам смартфон не нужно закреплять на штативе.
Разумеется, специальное оборудование, которое позволяло парализованным пациентам «печатать» глазами, существовало и раньше. Обычно оно работает следующим образом: сидящий перед камерой пользователь сначала переводит взгляд в сторону одной из нескольких групп букв, а после, уже другим движением глаз, выбирает конкретную букву в группе — и так с каждым новым символом. Для отслеживания направления взгляда в таких системах используются инфракрасные датчики, которые плохо справляются со своей задачей при свете. Кроме того, стоимость полного комплекта подобного оборудования может составлять от 5 до 10 тысяч долларов.
Представленная программа сканирует и захватывает изображение глаз с помощью технологии распознавания изображения Microsoft, после чего соотносит каждое движение глаз с соответствующими командами. Благодаря отказу от инфракрасных датчиков, Eye-gaze можно использовать при ярком солнечном свете.
Упростить процесс печати разработчикам удалось за счёт предиктивного механизма ввода текста, знакомому любому, кто пользовался телефоном с кнопками. Групп букв в Eye-gaze всего четыре, и пользователю достаточно выбирать лишь группу, но не конкретную букву в ней. Для того чтобы удалить букву, нужно моргнуть левым глазом, а для подтверждения слова — правым. Кроме того, ассистенту, который держит в руках смартфон, виден список подсказок, благодаря чему тот может помогать вводить слова, выбирая подходящие по контексту варианты.
Новый метод ввода от Microsoft заметно ускоряет и упрощает процесс коммуникации. В среднем на печать предложения при помощи Eye-gaze уходит примерно полторы минуты, тогда как ввод того же предложения на более дорогой и сложной системе e-tran занимает более двух минут.
Разработка Eye-gaze будет представлена на конференции социально значимых технологических проектов CHI 2017.
