Autor: PINTO FERNÁNDEZ, David

Título: Monitoring Human-Exoskeleton Interaction with Multimodal Interfaces and AI

Fecha: 2025

Materia: ---

Escuela: E.T.S. DE INGENIEROS INDUSTRIALES

Departamento: SIN DEPARTAMENTO DEFINIDO

Acceso electrónico: https://oa.upm.es/91963/

Director/a(s):

• Director/a: TORRICELLI, Diego
• Director/a: ROCÓN DE LIMA, Eduardo

Resumen: Robotic exoskeletons have emerged as powerful tools to support gait rehabilitation and mobility assistance. Their promise lies in providing highly repetitive and intensive training sessions, reducing the physical burden of therapists, and enabling new forms of quantitative assessment. Nevertheless, their widespread clinical and real-world adoption is still constrained by several unresolved challenges. Among these, one of the most critical is the lack of standardized and practical methodologies to monitor the quality of human-robot interaction (HRI). Without robust and comparable metrics, it is difficult to determine whether an exoskeleton improves functional performance, how users adapt to it, or how its control strategies can be optimized for safe and efficient assistance. This thesis addresses these challenges by investigating how multiple sensing interfaces and artificial intelligence can characterize and improve human-exoskeleton interaction. The work begins with a systematic review of the literature, identifying the main protocols, metrics, and sensors currently used for exoskeleton-assisted locomotion. The review highlights both the diversity of approaches and the lack of consensus, stressing the urgent need for benchmarking tools. To bridge this gap, the thesis introduces the first open-access multimodal dataset of exoskeleton-assisted gait, collected with a comprehensive set of motion capture, inertial, physiological, and wearable force sensors. This dataset allows for the simultaneous analysis of biomechanical, physiological, and subjective variables, thus providing a unique resource for future research in assistive robotics. Building on this foundation, machine learning models were trained to identify which features best predict functional performance and user-perceived comfort. Results showed that specific angular and temporal gait parameters are particularly discriminative, not only between control modes but also in explaining subjective outcomes. These findings demonstrate the potential of AI-based feature selection to simplify the evaluation of complex multimodal data and to propose reduced sensor setups for practical applications. In parallel, biofeedback-informed control strategies were designed and experimentally validated. Using augmented reality and auditory feedback interfaces, participants received real-time cues about posture and weight shifting. The experiments demonstrated that biofeedback improves trunk control among other gait parameters as well as user satisfaction, providing an intuitive interface that enhances the usability of robotic devices. Finally, the methodology was extended to other platforms beyond exoskeletons. A pilot study with a robotic walker confirmed that the same principles can be adapted to different assistive technologies, supporting the hypothesis that functional performance can be monitored primarily through human-derived signals. This generalization illustrates the broader transferability of the proposed framework and opens the way for unified approaches across multiple devices in rehabilitation and assistance. The main contribution of this thesis is threefold. First, it provides a comprehensive mapping of the state of the art, clarifying the current landscape of metrics and standards for human-exoskeleton performance evaluation. Second, it delivers a methodological and experimental framework, including the creation of a unique dataset, the use of AI to select relevant indicators, and the design of biofeedback-informed controllers. Third, it offers experimental evidence that multimodal monitoring and adaptive interfaces can significantly enhance both the objective performance and the subjective acceptance of assistive robots. RESUMEN Los exoesqueletos robóticos han emergido como herramientas prometedoras para apoyar la rehabilitación de la marcha y la asistencia a la movilidad. Su potencial reside en ofrecer entrenamientos altamente repetitivos e intensivos, reducir la carga física de los terapeutas y permitir nuevas formas de evaluación cuantitativa. No obstante, su adopción generalizada en entornos clínicos sigue limitada por varios desafíos aún no resueltos. Entre ellos, uno de los más críticos es la falta de metodologías estandarizadas y prácticas para monitorizar la calidad de la interacción humano-robot (HRI). Sin métricas sólidas y comparables, resulta difícil determinar si un exoesqueleto mejora el rendimiento funcional, cómo se adaptan los usuarios a él o cómo optimizar sus estrategias de control para lograr una asistencia segura y eficiente. Esta tesis aborda dichos retos investigando cómo las interfaces sensoriales y la inteligencia artificial pueden ayudar a caracterizar y mejorar la interacción humano-exoesqueleto. El trabajo comienza con una revisión sistemática de la literatura, identificando los principales protocolos, métricas y sensores actualmente utilizados para la locomoción asistida por exoesqueleto. La revisión resalta tanto la diversidad de enfoques como la ausencia de consenso, subrayando la necesidad urgente de herramientas de referencia comparables. Para cubrir esta carencia, la tesis introduce el primer conjunto de datos multimodal de acceso abierto sobre marcha asistida con exoesqueleto. Este conjunto de datos permite el análisis simultáneo de variables biomecánicas, fisiológicas y subjetivas, proporcionando así un recurso único para la investigación futura en robótica asistencial. Sobre esta base, se entrenaron modelos de aprendizaje automático para identificar qué características predicen mejor el rendimiento funcional y la percepción de confort por parte del usuario. Los resultados mostraron que ciertos parámetros angulares y temporales de la marcha son especialmente discriminativos, no solo entre modos de control, sino también en la explicación de resultados subjetivos. Estos hallazgos demuestran el potencial de la selección de características basada en inteligencia artificial para simplificar la evaluación de datos multimodales complejos y proponer configuraciones sensoriales reducidas para aplicaciones prácticas. En paralelo, se diseñaron y validaron experimentalmente estrategias de control informadas por biofeedback. Mediante interfaces de realidad aumentada y feedback auditivo, los participantes recibieron señales en tiempo real sobre la postura y el reparto de peso. Los experimentos demostraron que este enfoque mejora el control del tronco, así como otros parámetros de la marcha y la satisfacción del usuario, proporcionando una interfaz intuitiva que incrementa la usabilidad de los dispositivos robóticos. Finalmente, la metodología se extendió a otras plataformas más allá de los exoesqueletos. Un estudio piloto con un andador robótico confirmó que los mismos principios pueden adaptarse a diferentes tecnologías asistenciales, apoyando la hipótesis de que el rendimiento funcional puede monitorizarse a través de señales humanas. Esta generalización ilustra la transferibilidad del marco propuesto y abre la vía hacia enfoques unificados en distintos dispositivos de rehabilitación y asistencia. Las contribuciones principales de esta tesis son tres. En primer lugar, ofrece un mapeo exhaustivo del estado del arte, aclarando el panorama actual de métricas y estándares en la evaluación del rendimiento humano-exoesqueleto. En segundo lugar, presenta un marco metodológico y experimental, que incluye la creación de un conjunto de datos único, el uso de inteligencia artificial para seleccionar indicadores relevantes y el diseño de controladores basados en biofeedback. En tercer lugar, aporta evidencia experimental de que la monitorización multimodal y las interfaces adaptativas pueden mejorar significativamente el rendimiento.