Очки в стиле летучих мышей помогают «видеть» с помощью звука

Исследователи из Технологического университета Сиднея, вдохновленные использованием летучими мышами эхолокации, разработали умные очки, которые преобразуют визуальную информацию в уникальные звуковые представления. Отдельные звуковые символы, так называемые «акустические прикосновения», помогают людям «видеть». Об этом сообщает NewAtlas. 

Летучие мыши используют эхолокацию, излучая звуковую волну, которая отражается от объекта и возвращает эхо, предоставляющее информацию о размере объекта и расстоянии. 

Вспомогательные технологии включают разработку технологий, позволяющих людям с сенсорными нарушениями преодолевать препятствия в повседневной жизни. Слепота или слабое зрение влияет на способность человека выполнять повседневную деятельность и участвовать в социальной деятельности и взаимодействии.

Один из соавторов исследования, Чин-Тенг Линь, отметил, что умные очки обычно используют компьютерное зрение и другую сенсорную информацию для перевода окружающей среды пользователя в компьютерно-синтезированную речь. Однако технология акустического касания озвучивает объекты, создавая уникальные звуковые представления, когда они попадают в поле зрения устройства. Например, шелест листьев может означать растение, а жужжание — мобильный телефон.

Умные очки получили название Foveated Audio Device. FAD включает в себя набор очков дополненной реальности и телефон OPPO Find X3 Pro на базе Android. В совокупности с использованием программы на устройстве, удалось превратить объекты в отдельные звуковые значки, когда они попадали в поле зрения устройства.

Исследователи протестировали свои очки на 14 взрослых участниках, семь из которых были слепыми или слабовидящими и семь участников были зрячими людьми с завязанными глазами. Исследование состояло из этапа обучения, задания сидя, в котором FAD использовался для сканирования и озвучивания предметов на столе, и задания стоя, в котором изучалась эффективность FAD, когда участники шли и искали предмет в загроможденной среде. В исследовании использовались четыре предмета: миска, книга, чашка и бутылка. 

Исследователи обнаружили, что носимое устройство значительно улучшило способность слепых и слабовидящих людей распознавать объекты и дотягиваться до них без особых умственных усилий. Результаты показывают, что акустическое прикосновение может стать портативным и эффективным методом сенсорного улучшения для людей с ослабленным зрением. После некоторых доработок технология акустического касания может стать неотъемлемой частью вспомогательных технологий.

Исследование было опубликовано в журнале PLOS One.