<< Volver atrás

Tesis:

Contribution to the development of human activity recognition technologies: upper extremity application

  • Autor: TRUJILLO GUERRERO, María Fernanda

  • Título: Contribution to the development of human activity recognition technologies: upper extremity application

  • Fecha: 2024

  • Materia:

  • Escuela: E.T.S. DE INGENIEROS DE TELECOMUNICACION

  • Departamentos: TECNOLOGIA FOTONICA Y BIOINGENIERIA

  • Acceso electrónico: https://oa.upm.es/80939/

  • Director/a 1º: SERRANO OLMEDO, José Javier

  • Resumen: The present work studies the problem of detecting low-intensity movements of older adults. Analyzes the appropriate instrumentation to work in any environment. This work implemented multiple signal processing and artificial intelligence techniques to compare their performance such as accuracy. To contribute to the development of human activity recognition technologies the following activities were made: -Bibliographic review on the aging problem to find the ICTs challengers and the actual proposals. -Determine the IMU, EMG, and MAS sensors were used to acquire signals, and the human activities to be recognized, we focused on low-impact daily activities of older adults, such as eating, combing, and dressing, among others, which are closely related to upper limb movements. Therefore, the most representative movements of this limb were established: elbow flexion-extension, hand pronation-supination, shoulder abduction-adduction, horizontal shoulder flexion-extension, vertical shoulder flexion-extension, and internal-external shoulder rotation. -Classification models. To classify activities machine learning and deep learning models were trained. Machine learning models were useful when the exercises and signals were easy to distinguish. The models trained were: decision trees, SVM, KNN. When the exercises were similar and with low intensity, the classification becomes difficult so deep learning models were used. The trained models were: fully connected, convolutional, LSTM, and transformer. The metrics to evaluate the algorithms were accuracy, training curves, confusion matrix, and others. To reduce instrumentation, feature selection algorithms were applied to find the number of sensors needed to obtain a valid result. Based on the above, we establish that human activity recognition systems are composed of data acquisition and activity recognition models. In this work, we compared the accuracy of two acquisition systems: Inertial Measurement Units (IMUs) vs Movement Analysis Systems (MAS). We trained models to recognize arm exercises using state-of-the-art deep learning architectures and compared their accuracy. MAS uses a camera array and reflective markers. IMU uses accelerometers, gyroscopes, and magnetometers. Sensors of both systems were attached to different locations of the upper limb. We captured and annotated 3 datasets, each one using both systems simultaneously. For activity recognition, we trained 8 architectures, each one with different operations and layers configurations. The best architectures were a combination of CNN, LSTM, and Transformer achieving test accuracy from 89% to 99% on average. We evaluated how feature selection reduced the sensors required. We found IMU and MAS data were able to distinguish correctly the arm exercises. CNN layers at the beginning produced better accuracy on challenging datasets. IMU had advantages over other acquisition systems for activity recognition. We analyzed the relations between model accuracy, signal waveforms, signal correlation, sampling rate, exercise duration, and window size. Finally, we proposed the use of a single IMU located at the wrist and a variable-size window extraction. Future work aims to build an non invasive system to monitor elderly activities with a single sensor on the wrist, that is a comfortable position. Results showed it is possible to achieve high accuracy with state of the art deep learning models. The system can measure daily activities such as: food intake, combing hair, dressing, and changing clothes, among others. The caregivers may monitor the person's daily activities to detect early degenerative diseases or mental diseases. RESUMEN Este trabajo estudia la problemática al detectar movimientos de baja intensidad en adultos. Analiza la instrumentación adecuada para cualquier entorno, implementa múltiples técnicas de procesamiento de señales e inteligencia artificial para comparar el desempeño, como la precisión. Para contribuir al desarrollo de tecnologías de reconocimiento de la actividad humana se realizó: -Revisión bibliográfica sobre la problemática del envejecimiento, los retos de las TICs y las propuestas actuales. -Determinar los sensores IMU, EMG y MAS que para adquirir señales y las actividades de bajo impacto a reconocer, como comer, peinarse o vestirse, que están relacionadas con los movimientos del miembro superior. Los movimientos representativos son: flexión-extensión del codo, pronación-supinación de la mano, abducción-aducción del hombro, flexión-extensión horizontal del hombro, flexión-extensión vertical del hombro y rotación interna-externa del hombro. -Modelos de clasificación. Para clasificar las actividades se entrenaron modelos de aprendizaje automático y profundo. Los modelos de aprendizaje automático fueron útiles con ejercicios y señales fáciles de distinguir. Los modelos entrenados fueron: árboles de decisión, SVM, KNN. Cuando los ejercicios fueron similares y de baja intensidad, la clasificación se vuelve difícil y se utilizaron modelos de aprendizaje profundo. Los modelos entrenados fueron: full connected, convolucional, LSTM y transformer. Las métricas para evaluar los algoritmos fueron precisión, curvas de entrenamiento, matriz de confusión y otras. Para reducir la instrumentación y determinar la cantidad de sensores con resultado válido, se aplicaron algoritmos de selección de características. En base a lo anterior establecemos que los sistemas de reconocimiento de actividad humana se componen de modelos de adquisición de datos y reconocimiento de actividades. En este trabajo, comparamos la precisión de dos sistemas de adquisición: Unidades de Medición Inercial versus Sistemas de Análisis de Movimiento. Entrenamos modelos para reconocer ejercicios de brazos utilizando arquitecturas de aprendizaje profundo de última generación y comparamos su precisión. MAS utiliza un conjunto de cámaras y marcadores reflectantes. IMU utiliza acelerómetros, giroscopios y magnetómetros. Se colocaron sensores de ambos sistemas en diferentes lugares del miembro superior. Capturamos y anotamos 3 datosets, cada uno usando ambos sistemas simultáneamente. Para el reconocimiento de actividades, entrenamos 8 arquitecturas, cada una con diferentes operaciones y configuraciones de capas. Las mejores arquitecturas fueron una combinación de CNN, LSTM y Transformer, logrando una precisión de prueba del 89% al 99% de media. Evaluamos cómo la selección de funciones redujo los sensores necesarios. Encontramos que los datos de IMU y MAS fueron capaces de distinguir correctamente los ejercicios de brazos. Al principio, las capas de CNN produjeron una mayor precisión en conjuntos de datos desafiantes. IMU tenía ventajas sobre otros sistemas de adquisición para el reconocimiento de actividades. Analizamos las relaciones entre la precisión del modelo, las formas de onda de la señal, la correlación de la señal, la frecuencia de muestreo, la duración del ejercicio y el tamaño de la ventana. Finalmente, propusimos el uso de una única IMU ubicada en la muñeca y una ventana de extracción de tamaño variable. El trabajo futuro tiene como objetivo construir un sistema no invasivo para monitorear las actividades de las personas mayores con un solo sensor en la muñeca, que es una posición cómoda. Los resultados lograron una alta precisión con modelos de aprendizaje profundo de última generación. El sistema puede medir actividades diarias como: ingesta de alimentos, peinarse o vestirse. El monitoreo por parte de los cuidadores pueden detectar tempranamente enfermedades degenerativas o mentales.