Tesis:
A methodological framework for the real-time adaptation of classifiers for non-invasive brain-computer interfaces towards the control of home automation systems
- Autor: SIMEONI, Ezequiel
- Título: A methodological framework for the real-time adaptation of classifiers for non-invasive brain-computer interfaces towards the control of home automation systems
- Fecha: 2022
- Materia: Sin materia definida
- Escuela: E.T.S. DE INGENIEROS DE TELECOMUNICACION
- Departamentos: TECNOLOGIA FOTONICA Y BIOINGENIERIA
- Acceso electrónico: https://oa.upm.es/70833/
- Director/a 1º: ARREDONDO WALDMEYER, María Teresa
- Resumen: Brain-computer interfaces (BCI) have increasingly been brought to the research community’s attention for at least the past 20 years and considerable progress has been made in most of its research areas. According to the World Intellectual Property Organization (WIPO) in the most recent report on assistive technologies trends, BCIs are considered as one of the key enabling technologies for the emerging assistive products. The quality of life of people suffering from a disability can improve if an assistive device such as a BCI can aid communication, house-environment management and mobility. Nonetheless, this technology is not yet ready to be used for out-of-the-laboratory applications, mostly due to its lack of usability and their classifiers’ frailty. Specifically, for the EEG-BCIs, signal stability in time and user-to-user signal variability are the main restrictions for their implementation into real scenarios. Moreover, BCIs’ usability, acceptance and universal design are the current researchers’ concerns, acknowledging BCI technology is in its infancy. Among the current barriers that prevent BCIs to be more usable, the most relevant are: 1) The difficulty to re-use the classifiers, implying the need to iteratively calibrate the system to maintain performance, consuming time and energy from users. This is because EEG signal changes due to several factors, namely electrode movements (artifacts or signal drift), the subject’s mental state, skin conductivity changes, etc. Machine-learning classifiers are affected by these changes in signals and their performance decreases substantially. 2) BCIs’ low transferability between users, because of subject-oriented development strategies that prevent BCIs’ evolution and application in other use-cases. 3) The non-triviality of interfacing with the target entities (i.e., a device to control), due to the high degree of technology fragmentation that ithe ndustry has created. Given these challenges, the objective of this work is to provide a methodological framework that contributes EEG-BCIs to overcome the mentioned barriers towards their home use, further expanding their consolidated application as an alternative communication tool. This will be achieved by addressing, on one end, the BCI classifiers’ real-time adaptation to inter-session and inter-subject variability, enabling BCIs’ repurpose. On the other end, through the creation of an interface with home automation systems that enables a secure access and interoperability among devices, simplifying the interaction between BCIs and automated homes. In particular, the Plan4Act project’s transfer learning method, which endows invasive brain readings’ classifiers with the power of inter-session effects’ mitigation, is extended to the EEG-BCIs domain. This method, named GED-based Manifold Realignment (GEDMR), enables EEG machine learning classifiers to mitigate the inter-session signal variability and inter-subject effects, enabling the possibility to re-use them. Furthermore, the Smart Home Gateway (SHG) is created to provide a secure and scalable interface that enables devices’ interoperability, based on the Web of Things standard, reference ontologies (for home appliances and IoT devices) and standard communication protocols. GEDMR’s performance was evaluated using open-access EEG datasets from diverse sources and groups of patients; while SHG’s was evaluated and validated in Plan4act project’s mid-term and final demonstration, which consisted of a BCI actuating on the Smart House Living Lab’s devices. The original contribution included in this work are: a) Plan4Act project’s ”manifold realignment” method extension to the EEG domain to mitigate inter-session and inter-subject variability; b) EEG datasets review, selection, processing and analysis, to obtain the parameters of interest to the aforementioned method; c) the Smart Home Gateway development, a secure, scalable and standard-based gateway to allow device interoperability in the Smart House Living Lab; and d) The evaluation and validation of the methodological framework. ----------RESUMEN---------- Las interfaces cerebro-computadora (BCI, por sus siglas en inglés) han atraído cada vez más la atención de la comunidad investigadora desde al menos los últimos 20 a˜nos y se ha logrado un progreso considerable en la mayoría de sus áreas de investigación. Según la Organización Mundial de la Propiedad Intelectual (WIPO, por sus siglas en inglés) en el informe más reciente sobre las tendencias en tecnologías asistivas, las BCI se consideran una de las tecnologías habilitadoras esenciales para los productos de asistencia emergentes. La calidad de vida de las personas que sufren una discapacidad puede mejorar si un dispositivo de asistencia como un BCI puede ayudar a la comunicación, la gestión del entorno doméstico y la movilidad. No obstante, esta tecnología aún no está lista para usarse en aplicaciones fuera del laboratorio, principalmente debido a su falta de usabilidad y la falta de robustez de sus sistemas de clasificación. Específicamente para los EEG-BCI, la estabilidad de la señal en el tiempo y la variabilidad de la señal de usuario a usuario son las principales restricciones para su implementación en escenarios reales. Además, la facilidad de uso, la aceptación y el diseño universal de BCI son algunos de los retos que los investigadores tienen en agenda, reconociendo que la tecnología BCI está en su infancia. Entre las barreras actuales que impiden que los BCI sean más utilizables, las más relevantes son: 1) La dificultad para reutilizar los clasificadores, lo que implica la necesidad de calibrar iterativamente el sistema para mantener el rendimiento, consumiendo tiempo y energía de los usuarios. Esto se debe a que la señal del EEG cambia debido a varios factores como los movimientos de los electrodos (artefactos o desviación de la señal), el estado mental del sujeto, los cambios en la conductividad de la piel, etc. Los clasificadores de aprendizaje automático son sensibles a estos cambios en las señales y su rendimiento disminuye sustancialmente en su presencia. 2) la baja transferibilidad de las BCI entre usuarios, debido a las estrategias de desarrollo orientadas personalizadas que impiden su evolución y aplicación de BCI en otros casos de uso. 3) La no trivialidad de interactuar fácilmente con dispositivos (es decir, un dispositivo para controlar), debido al alto grado de fragmentación tecnológica que creó la industria. Ante estos desafíos, el objetivo de este trabajo es brindar un marco metodológico que contribuya a que los EEG-BCI superen las mencionadas barreras hacia su uso doméstico, ampliando aún más su aplicación consolidada como herramienta de comunicación alternativa. Esto se logrará abordando, por un lado, la adaptación en tiempo real de los clasificadores BCI a la variabilidad entre sesiones y entre sujetos, lo que permite la reutilización de los BCI. Por otro lado, mediante la creación de una interfaz con sistemas domóticos que permita un acceso seguro e interoperabilidad entre dispositivos, simplificando la interacción entre BCIs y hogares domóticos. En particular, se ha extendido al dominio EEG-BCI el método de transferencia de aprendizaje del proyecto Plan4Act, que dota a los clasificadores de lecturas cerebrales invasivas con el poder de mitigar los efectos entre sesiones. Este método, denominado ”GED-based manifold realignment” (GEDMR), permite que los clasificadores de aprendizaje automático de EEG mitiguen la variabilidad de la se˜nal entre sesiones y los efectos entre sujetos, permitiendo reutilizarlos. Además, se ha creado el Smart Home Gateway (SHG) para proporcionar una interfaz segura y escalable que permite la interoperabilidad de los dispositivos, basada en el estándar Web of Things, ontologías de referencia (para electrodomésticos y dispositivos IoT) y protocolos de comunicación estándar. El rendimiento de GEDMR se evaluó utilizando conjuntos de datos de EEG de acceso abierto de diversas fuentes y grupos de pacientes; mientras que el SHG fue evaluado y validado en la demostración intermedia y final del proyecto Plan4act, que consistió en un BCI actuando sobre los dispositivos del Smart House Living Lab. Las contribuciones originales incluidas en este trabajo son: a) la extensión del método de ”Manifold Realignment” del proyecto Plan4Act al dominio EEG para mitigar la variabilidad entre sesiones y entre sujetos; b) revisión, selección, procesamiento y análisis de conjuntos de datos de EEG para obtener los parámetros de interés para el método mencionado; c) el desarrollo de Smart Home Gateway, una interfaz segura, escalable y basada en estándares para permitir la interoperabilidad de dispositivos en el Smart House Living Lab; y d) La evaluación y validación del marco metodológico.