Tesis:
Network design strategies for multisensory human-machine interfaces of navigation systems for blind and visually impaired people
- Autor: REAL VALDÉS, Santiago Isidro
- Título: Network design strategies for multisensory human-machine interfaces of navigation systems for blind and visually impaired people
- Fecha: 2023
- Materia:
- Escuela: E.T.S. DE INGENIEROS DE TELECOMUNICACION
- Departamentos: INGENIERIA ELECTRONICA
- Acceso electrónico: https://oa.upm.es/76515/
- Director/a 1º: ARAUJO PINTO, Álvaro
- Resumen: Over the last decades, the development of navigation devices capable of guiding blind and visually impaired (BVI) individuals through indoor and/or outdoor scenarios has remained a challenge. However, the current technological context leaves room for novel possibilities in terms of functionality, system architecture or even cost of these devices.
Although there are different approaches, traditional designs are evolving into distributed models with low-cost, front-end devices. Smartphones and wearables with built-in cameras are considered as potentially feasible options with which to support state-of-art computer vision solutions, thus allowing for both the positioning and monitoring of the user’s surrounding area. These functionalities are then further boosted by means of remote resources, leading to cloud computing schemas or even remote sensing via urban infrastructure. However, relying on networks involves new challenges in relation to system design, some of which are related to the main bottleneck of all navigation systems: the human-machine interface (HMI).
Originally conceived to provide orientation and mobility assistance through non-visual sensory feedback, a navigation system act as a medium between the user and the environment. Due to the large amount of information required to move around autonomously, the usage of language through speech interfaces or refreshable braille displays was considered non-efficient. In the pursue of higher data throughput, non-invasive HMI design tended to rely on human perceptual and cognitive factors, which are ultimately rooted on sensorimotor coupling.
So far, this kind of user-environment interactions required strict constraints in terms of system delay, analogously to current virtual reality systems. Also, non-visual HMI of specific temporal resolutions and haptic/acoustic stimuli codifications which determine end-to-end data throughput. In this regard, the specific requirements to provide perceptual and cognitive assistance to enable BVI people to follow a route autonomously are yet unexplored. In this context, the present thesis searches for design constraints of networked navigation systems that derives from the HMI.
To that end, this document first provides an updated, holistic view of the research on navigation assistance for BVI; and addresses user-centered design fundamentals, including the main points of criticism of previous approaches. Then, several guidelines, architectures and technological achievements are highlighted as they could underpin future feasible designs.
Thereafter, we describe our developed tool, Virtually Enhanced Senses (VES). This system is a novel and highly configurable wireless sensor-actuator network conceived as a development and test-bench platform of navigation systems adapted for BVI individuals. It allows to immerse test subjects into walkable, purely virtual or mixed environments with actual or simulated sensors, external processing modules and databases; and validate navigation system designs prior to prototype development.
The haptic, acoustic, and proprioceptive feedback of VES supports state-of-art HMI for BVI guidance. In this regard, various sensory substitution devices (SSD) were integrated in VES, including the well-known “The vOICe”. On the other hand, VES includes a network emulation feature that allows to configure end-to-end data throughput, latency, and packet loss. This point will be key to observe how network parameters affect the subject’s spatial knowledge, as well as the consequent performance in terms of orientation and mobility.
Finally, the present work searched for temporal constraints of system delay, which was highlighted as one of the major perceivable effects of QoS degradation. To that end, three tests have been conveyed to a group of 25 participants under different delay conditions between motor actions and triggered stimuli, i.e., motion-to-photon latency. The results show a tradeoff between spatial information acquisition and delay degradation, and a learning curve even under impaired sensorimotor coupling.
RESUMEN
El desarrollo de sistemas de navegación capaces de guiar a personas con deficiencias visuales ha supuesto un reto durante las últimas décadas. Sin embargo, el contexto tecnológico actual abre camino a nuevas posibilidades en cuanto a la funcionalidad, arquitectura o incluso coste de estos dispositivos.
Aunque hay muchos enfoques posibles, los diseños tradicionales tienden a un modelo distribuido con una interfaz basada en dispositivos portátiles de bajo costo. Concretamente, los teléfonos inteligentes y los dispositivos vestibles permiten utilizar algoritmos de visión artificial útiles para monitorizar el entorno del usuario y rastrear su posición. Por otro lado, estas funcionalidades podrán potenciarse mediante el uso de recursos externos, llevando a esquemas de procesamiento remoto o incluso monitorización remota a través de infraestructura urbana. Sin embargo, esta dependencia de redes de comunicación implica nuevos retos de diseño, algunos de los cuales se dirigen al principal cuello de botella en la implementación de sistemas de navegación: la interfaz hombre-máquina (HMI).
Estos dispositivos, originalmente concebidos para asistir en orientación y movilidad por medio de estímulos no visuales, actúan como un intermediario entre el usuario y el medio. Dada la gran cantidad de información necesaria para desplazarse de forma autónoma, el uso del lenguaje en interfaces habladas o líneas braille mostró ser particularmente ineficiente. En vías de conseguir alcanzar tasas de transferencia de información suficientemente elevadas, los diseños de interfaces hombre-máquina se basaron en factores de percepción y cognición humana que incluyen elementos sensoriomotores en su raíz.
Al igual que en el campo de realidad virtual, las interacciones usuario-entorno de esta naturaleza han requerido de estrictas limitaciones al retardo del sistema. A su vez, las HMI no visuales demandan resoluciones temporales y codificaciones de estímulos hápticos/acústicos específicas que determinan la tasa de transferencia a utilizar. A este respecto, los requerimientos específicos para proveer de asistencia a la percepción y cognición en los desplazamientos de personas con deficiencia visual aún no se han determinado. En este contexto, esta tesis se enfoca en la búsqueda de restricciones en el diseño de sistemas de navegación distribuidos que derivan de la interfaz hombre-maquina.
Con este fin, el presente documento comienza con una imagen actualizada y completa de la investigación en materia de asistencia a la navegación; y aborda aspectos fundamentales de diseño centrado en el usuario, incluyendo los aspectos más criticados en el pasado. Después, se destacan varias recomendaciones, arquitecturas y logros tecnológicos que podrían promover el desarrollo de futuros diseños.
A continuación, se describe la herramienta desarrollada: “Virtual Acoustic Senses” (VES). Este sistema, construido sobre una red de sensores y actuadores, constituye una plataforma novedosa y altamente configurable para el desarrollo y ensayo de sistemas de navegación para personas con deficiencia visual. VES sumerge al usuario en entornos de realidad mixta o puramente virtuales; con sensores reales o emulados; módulos externos de procesamiento y bases de datos; y que permite validar diseños completos antes incluso de implementar un prototipo.
La salida táctil, acústica y propioceptiva de VES permite la implementación de las últimas interfaces hombre-máquina para el guiado de personas con deficiencia visual. Respecto a este punto, se han integrado múltiples dispositivos de sustitución sensorial, incluyendo el conocido “The vOICe”. Por otro lado, VES incluye un emulador de red que facilita configurar tasa binaria, latencia y pérdida de paquetes punto a punto. Esta última funcionalidad será clave para observar cómo los parámetros de red tienen un impacto en la adquisición de conocimiento espacial, así como en el posterior desempeño en tareas de orientación y movilidad.
Finalmente, se indagó en posibles restricciones al retardo del sistema, lo cual se señala como uno de los principales efectos de la red. Con este fin, se han realizado tres pruebas a un grupo de 25 participantes bajo diferentes condiciones de retardo entre el movimiento del usuario y los estímulos que provee el sistema en consecuencia. Los resultados indican un balance entre la adquisición de información espacial y el incremento de dicho retardo; y una curva de aprendizaje bajo estas condiciones.