Tesis:
Design of a non-invasive cost-effective mobile robotic system for human gait analysis optimized by machine learning algorithms
- Autor: GUFFANTI MARTÍNEZ, Diego
- Título: Design of a non-invasive cost-effective mobile robotic system for human gait analysis optimized by machine learning algorithms
- Fecha: 2021
- Materia: Sin materia definida
- Escuela: E.T.S. DE INGENIEROS INDUSTRIALES
- Departamentos: AUTOMATICA, INGENIERIA ELECTRONICA E INFORMATICA INDUSTRIAL
- Acceso electrónico: https://oa.upm.es/69034/
- Director/a 1º: BRUNETE GONZÁLEZ, Alberto
- Director/a 2º: HERNANDO GUTIÉRREZ, Miguel
- Resumen: This dissertation started from an original and clinically interesting question, namely, how can technology contribute to the objective assessment of the gait pattern of patients in clinical practice. In the search for an answer to this question, this thesis analyzes the viability of using a cost-effective and non-invasive mobile robotic platform for human gait analysis and establishes the basis for the design of a new prototype based on depth cameras and optimized by machine learning algorithms to perform the analysis of human gait in practical scenarios. This involves the development of the system and its validation for human gait analysis. Initially, has been assumed that the system must be non-invasive and cost-effective, but also the accuracy must be good enough to analyze human gait in a proper way. Following these guidelines, the core of this thesis has been the fusion of depth sensors with robotics to provide the platform with precision, usability, transportability, non-invasiveness and autonomy, which are the main requirements for the design of a gait analysis system. The initial step has been the exploration of three methods for using depth cameras in human gait analysis. Ordered according to their importance in the development of this thesis: the first method has proposed the use of one depth camera to analyze walking over a treadmill; the second one has proposed the use of several depth cameras in a multisensor configuration, with the cameras placed in a row; and the third one has proposed the integration of one depth camera on a mobile robot. The last two methods deal with overground gait analysis. Regarding the treadmill, two types have been used: motorized and non-motorized. The non-motorized treadmills had the disadvantage that they required great effort and had to be used tilted, which occluded the view of the sensor. Motorized treadmills were a better solution. Because they lay flat on the floor, the person does not need to grip the handle and require less effort (because they do not have to push with their feet to move the treadmill). However, they also showed some disadvantages, the most relevant of which was that they altered the gait pattern and the resultant pattern was different from that of an overground walking (as shown in Chapter 4, section 2). The aim of the second method was to extend the range of view of the depth camera using a multi-sensor configuration. This method presented some advantages. The use of two or more depth cameras allowed the capture of at least two gait cycles with each foot (the more cameras, the more gait cycles that can be detected). This also allowed the detection of gait pattern variables based on signal periodicity and frequency spectrum. However, this configuration had some disadvantages: several depth cameras were needed and these had to be calibrated before use; the recording was made only in a straight line and was limited to a few meters; finally, this system was difficult to move from one place to another. This conflicted with the philosophy of portability that was proposed for the system. Finally, the third method was the integration of a depth camera into a mobile robot. This method had several advantages: it was a cost-effective, non-invasive method with an unlimited detection range with the ability to adjust to the environment; the system did not alter the walking pattern; the robot could even be used outside a laboratory environment; and only one depth camera was needed. The design of this robotic system was performed in two stages. In the first stage a straight-line follower robot for human gait analysis was designed and validated. The idea of this robot was to follow the human from the front while walking in a straight line. During the design stage, the model identification and the configuration of the control law were performed. The design of the control law required the integration of a lead compensator and a Filtered Smith Predictor (FSP) to compensate for sensor latency. During the validation procedure, the accuracy of the system to retrieve kinematic gait data was calculated with respect to the ground truth of a Vicon system. Following the experience acquired in the previous studies, certain shortcomings of the depth sensors in the analysis of human gait were detected. Therefore, it became necessary to work at a stage where the accuracy of the sensor is addressed. For this purpose, an extensive data collection stage was carried out together with the robot and a Vicon certified system. Then, using machine learning algorithms, supervised learning was applied by using the data from the Vicon system to train neural networks capable of improving the accuracy of the sensor in gait analysis. In this way the accuracy of the sensor improved significantly and most of the discrepancies between the biomechanical gait models applied by the robot and by the Vicon system disappeared. Continuing with the design of the robot, the second stage focused on adapting the platform for use in real environments. In this configuration, measurements were more natural because the tests were performed in real environments, in contrast to the use of dedicated laboratories. Using simultaneous localization and mapping (SLAM), control techniques, and path planning algorithms, this mobile robot was able to design flexible trajectories for gait experiments. During a gait experiment, the execution of control tasks in the robot were performed by a double controller: lane keeping and person following. The platform was tested in clinical environments with Multiple Sclerosis (MS) patients. Parallel to the construction of the robot, an interface for robot operation, gait data management and post-processing has been developed. This is an application for tablets and mobile devices that allows medical staff to operate the mobile robotic system accurately, without the need for training sessions or technical expertise. Finally, a comparison of the mobile robotic system and an inertial sensor system was developed. Normal and pathological gait patterns were analyzed both systems. The main differences between normal and pathological gait were identified based on joint kinematics and the main descriptors of gait. At the end, the performance of the systems to classify gait patterns was compared, allowing the mobile robotic system to be tested over a wider range of gait while being compared to a commercial system working under the same experimental conditions. To summarize, the main contributions that can be found in this thesis are: the scientific community has been provided with the main limitations and advantages of each configuration of gait analysis with depth sensors; the design, construction and validation of a mobile robotic system able to perform human gait analysis; control architecture designed for person following from the frontal part; improvement of the accuracy of depth sensors for human gait analysis through supervised learning from a Vicon system; the design of an application for tablets and mobile devices that allows medical staff to operate the robot; and the identification of the main differences in normal and pathological patterns on the basis of joint kinematics and the main descriptors of gait. ----------RESUMEN---------- Esta tesis parte de una pregunta original y de interés clínico, a saber, cómo puede contribuir la tecnología a la evaluación objetiva del patrón de la marcha de los pacientes en la práctica clínica. En la búsqueda de una respuesta a esta pregunta, esta tesis analiza la viabilidad de utilizar una plataforma robótica móvil rentable y no invasiva para el análisis de la marcha humana, y establece las bases para el diseño de un nuevo prototipo basado en cámaras de profundidad y optimizado mediante algoritmos de aprendizaje automático para realizar el análisis de la marcha humana en escenarios prácticos. Esto implica el desarrollo del sistema y su validación para el análisis de la marcha humana. Inicialmente, se ha asumido que el sistema debe ser no invasivo y rentable, pero también la precisión debe ser lo suficientemente buena como para analizar la marcha humana de forma adecuada. Siguiendo estas directrices, el núcleo de esta tesis ha sido la fusión de los sensores de profundidad con la robótica para dotar a la plataforma de precisión, usabilidad, transportabilidad, no invasividad y autonomía, que son los principales requisitos para el diseño de un sistema de análisis de la marcha. El paso inicial ha sido la exploración de tres métodos para el uso de cámaras de profundidad en el análisis de la marcha humana. Ordenados según su importancia en el desarrollo de esta tesis: el primer método ha propuesto el uso de una cámara de profundidad para analizar la marcha sobre una cinta de correr; el segundo ha propuesto el uso de varias cámaras de profundidad en una configuración multisensor, con las cámaras colocadas en fila; y el tercero ha propuesto la integración de una cámara de profundidad en un robot móvil. Los dos últimos métodos se ocupan del análisis de la marcha sobre el suelo. En cuanto a la cinta de correr, se han utilizado dos tipos: motorizada y no motorizada. Las cintas de correr no motorizadas tenían el inconveniente de que requerían un gran esfuerzo y debían utilizarse inclinadas, lo que ocluía la vista del sensor. Las cintas de correr motorizadas fueron una solución mejor. Como se colocan planas en el suelo, la persona no necesitó agarrarse el mango y por lo tanto requirió menos esfuerzo (porque el participante no tuvo que empujar con los pies para mover la cinta). Sin embargo, esta configuración también presentó algunas desventajas, la más relevante de las cuales era que alteraban el patrón de la marcha y el patrón resultante era diferente al de una marcha sobre el suelo (como se muestra en el capítulo 4, sección 2). El objetivo del segundo método fue ampliar el rango de visión de la cámara de profundidad mediante una configuración multisensor. Este método presentó algunas ventajas. El uso de dos o más cámaras de profundidad permitió capturar al menos dos ciclos de marcha con cada pie (cuantas más cámaras, más ciclos de marcha se pueden detectar). Esto también permitió la detección de variables del patrón de marcha basadas en la periodicidad de la señal y el espectro de frecuencia. Sin embargo, esta configuración tuvo algunas desventajas: se necesitaban varias cámaras de profundidad y éstas debían calibrarse antes de su uso; la grabación se realizaba sólo en línea recta y estaba limitada a unos pocos metros; por último, este sistema era difícil de trasladar de un lugar a otro. Esto iba en contra de la filosofía de portabilidad y no invasividad que fue propuesta para el sistema. Por último, el tercer método fue la integración de una cámara de profundidad en un robot móvil. Este método presentó varias ventajas: fue un método rentable y no invasivo con un rango de detección ilimitado con la posibilidad de ajustarse al entorno; el sistema no alteraba el patrón de marcha; el robot podía utilizarse incluso fuera de un entorno de laboratorio; y sólo se necesitaba una cámara de profundidad. El diseño de este sistema robótico se realizó en dos etapas. En la primera etapa se diseñó y validó un robot seguidor para el análisis de la marcha humana. La idea de este robot era seguir al humano de frente mientras caminaba en línea recta. Durante la etapa del diseño de control, se realizó la identificación del modelo y la configuración de la ley de control. El diseño de la ley de control requirió la integración de un compensador de adelanto y un Predictor de Smith filtrado (FSP) para compensar la latencia de los sensores. Durante el procedimiento de validación, se calculó la precisión del sistema para detectar los datos cinemáticos de la marcha con respecto a un sistema Vicon. Tras la experiencia adquirida en los estudios anteriores, se detectaron ciertas falencias de los sensores de profundidad en el análisis de la marcha humana. Por lo tanto, se hizo necesario trabajar en una etapa en la que abordáramos la precisión del sensor. Para ello, desarrollamos una etapa de recogida de datos de gran tamaño junto con el robot y un sistema certificado Vicon. A continuación, mediante algoritmos de aprendizaje de máquina, se aplicó un aprendizaje supervisado utilizando los datos del sistema Vicon para entrenar redes neuronales capaces de mejorar la precisión del sensor en el análisis de la marcha. De este modo, la precisión del sensor mejoró significativamente y la mayoría de las discrepancias entre los modelos biomecánicos de la marcha aplicados por el robot y por el sistema Vicon desaparecieron. Siguiendo con el diseño del robot, la segunda etapa se centró en adaptar la plataforma para su uso en entornos reales. En esta configuración, las mediciones fueron más naturales porque las pruebas se realizaban en entornos reales, en contraste con el uso de laboratorios dedicados. Utilizando la localization y el mapeo simultáneos (SLAM), técnicas de control y algoritmos de planificación de trayectorias, este robot móvil fue capaz de diseñar trayectorias flexibles para los experimentos de marcha. Durante un experimento de marcha, la ejecución de las tareas de control en el robot fue realizada por un doble controlador: de mantenimiento de carril y de seguimiento de la persona. La plataforma se probó en entornos clínicos con pacientes de esclerosis múltiple (EM). Paralelamente a la construcción del robot, se ha desarrollado una interfaz para el manejo del mismo, la gestión de los datos de la marcha y el posprocesamiento. Esta interfaz se trata de una aplicación para tabletas y dispositivos móviles que permite al personal médico manejar el sistema robótico móvil con precisión, sin necesidad de sesiones de formación ni conocimientos técnicos. Por último, se ha desarrollado una comparación entre el sistema robótico móvil y un sistema de sensores inerciales. Se analizaron patrones de marcha normales y patológicos utilizando el sistema robótico móvil y un sistema de sensores inerciales. Se identificaron las principales diferencias entre la marcha normal y la patológica sobre la base de la cinemática de las articulaciones y los principales descriptores de la marcha. Al final, se comparó el rendimiento de los sistemas para clasificar los patrones de la marcha, lo que permitió probar el sistema robótico móvil en un rango más amplio de la marcha y compararlo con un sistema comercial que trabaja en las mismas condiciones experimentales. En resumen, las principales aportaciones que se pueden encontrar en esta tesis son: se ha proporcionado a la comunidad científica las principales limitaciones y ventajas de cada configuración de análisis de la marcha con sensores de profundidad; el diseño, construcción y validación de un sistema robótico móvil capaz de realizar análisis de la marcha humana; la arquitectura de control diseñada para el seguimiento de personas desde la parte frontal; la mejora de la precisión de los sensores de profundidad para el análisis de la marcha humana mediante el aprendizaje supervisado de un sistema Vicon; el diseño de una aplicación para tabletas y dispositivos móviles que permita al personal médico manejar el robot; y la identificación de las principales diferencias entre patrones normales y patológicos a partir de la cinemática articular y los principales descriptores de la marcha.