Tesis:
Contribuciones a la Aplicación de Machine Learning en Escenarios Novedosos de Tiempo Real
- Autor: VAKARUK, Stanislav
- Título: Contribuciones a la Aplicación de Machine Learning en Escenarios Novedosos de Tiempo Real
- Fecha: 2023
- Materia:
- Escuela: E.T.S.I. DE SISTEMAS INFORMÁTICOS
- Departamentos: SISTEMAS INFORMATICOS
- Acceso electrónico: https://oa.upm.es/76518/
- Director/a 1º: MOZO VELASCO, Alberto
- Resumen: En el ámbito del aprendizaje supervisado, la selección de características es crucial para identifcar las variables más relevantes que infuyen en el rendimiento de un modelo, especialmente en entornos donde se requiere realizar inferencias en tiempo real o el consumo energético del modelo está limitado. Los métodos automáticos de selección de características son útiles para lidiar con la complejidad y el alto número de características en los conjuntos de datos, pero la selección manual de características por expertos del dominio puede generar un conjunto de características que mejoren el rendimiento y la interpretabilidad del modelo.
Esta tesis se enfoca en la aplicación de modelos de Machine Learning, tanto tradicionales como avanzados, para la resolución de problemas en escenarios previamente no abordados con el denominador común de que todos ellos necesitan de un despliegue en tiempo real. El objetivo principal de esta tesis es la investigación de las interrelaciones existentes entre las características seleccionadas de los datos de entrada (features) y los modelos aplicados. En concreto, esta tesis plantea la exploración de diversas formas de seleccionar, transformar o reemplazar características en datasets para mejorar el rendimiento de los modelos de Machine Learning o Deep Learning cuando van a ser desplegados en entornos de tiempo real donde podrían existir restricciones de consumo energético y /o necesidades de inferencia rápida.
Con el fin de desarrollar estos objetivos, la tesis selecciona tres casos de uso provenientes de distintos dominios, pero que comparten la particularidad de requerir despliegues en tiempo real: Industria 4.0, Telecomunicaciones/Ciberseguridad y Medioambiente. En el caso de uso Industria 4.0 la tesis explora como los modelos de Machine Learning basados en técnicas avanzadas de Deep Learning pueden predecir en tiempo real y con sufciente antelación el comportamiento de un AGV (Automated Guided Vehicle) controlado por un PLC (Programmable Logic Controller) virtualizado de forma remota, utilizando la información de guiado del AGV junto con información estadística sobre la conexión de red entre el AGV y el PLC en una red 5G sometida a perturbaciones y errores. En el caso de uso de Telecomunicaciones/Ciberseguridad se investiga como los modelos de Machine Learning pueden identifcar en tiempo real conexiones de criptominado utilizando únicamente información estadística sobre las conexiones de red que en algunos casos pueden estar cifradas. Finalmente, el caso de uso de Medioambiente, la tesis investiga si un soft-sensor (sensor software) basado en modelos de Machine Learning podría sustituir a un sensor real de coste elevado para medir fuorescencia de Chl-a (Clorofla) en una masa de agua. El soft-sensor infere el valor de Chl-a a partir de un conjunto de variables (temperatura, pH, conductividad y nivel de batería) obtenidas de sensores reales de bajo coste.
En el contexto de estos tres casos de uso, la tesis explora los efectos de la selección de características en el rendimiento de modelos Machine Learning tradicionales y modelos Deep Learning. Dentro de estos últimos, la tesis propone dos modelos derivados de la arquitectura Transformers, que ha revolucionado recientemente el área de Procesamiento del Lenguaje Natural.
Los experimentos realizados en esta tesis demuestran que el aprendizaje automático es una herramienta efectiva para abordar problemas relacionados con la predicción, detección o inferencia de eventos complejos en escenarios de tiempo real dentro de las tres áreas de aplicación seleccionadas. Aunque estas áreas de aplicación presentan múltiples diferencias entre si, la tesis presenta un conjunto de conclusiones comunes acerca de la aplicación práctica en ellas de modelos de aprendizaje automático y de las implicaciones de la selección de características en la complejidad y rendimiento de los modelos.
ABSTRACT
In the supervised learning domain, feature selection is crucial to identify the most relevant variables that infuence the performance of a model, especially in environments where real-time inference is required or the model’s energy consumption is limited. Automatic feature selection methods are useful to deal with the complexity and high number of features in datasets, but manual feature selection by domain experts can generate a set of features that improve the performance and interpretability of the model.
This thesis focuses on the application of Machine Learning models, both traditional and advanced, to solve problems in scenarios that have not been previously addressed, with the common denominator that all of them require real-time deployment. The main objective of this thesis is to investigate the interrelationships between the selected input data features and the applied models. Specifcally, this thesis proposes the exploration of various ways of selecting, transforming, or replacing features in datasets to improve the performance of Machine Learning or Deep Learning models when they are deployed in real-time environments where energy consumption constraints and/or the need for fast inference may exist.
To achieve these objectives, the thesis selects three use cases from diferent domains, but they all share the particularity of requiring real-time deployments: Industry 4.0, Telecommunications/ Cybersecurity, and Environment. In the Industry 4.0 use case, the thesis explores how Machine Learning models based on advanced Deep Learning techniques can predict in real-time and with sufcient lead time the behaviour of an Automated Guided Vehicle (AGV) controlled by a remotely virtualized Programmable Logic Controller (PLC), using the AGV’s guidance information along with statistical information about the network connection between the AGV and the PLC in a 5G network subjected to disturbances and errors. In the Telecommunications/ Cybersecurity use case, the thesis investigates how Machine Learning models can identify real-time cryptomining connections using only statistical information about network connections that may be encrypted in some cases. Finally, in the Environment use case, the thesis investigates whether a soft-sensor based on Machine Learning models could replace an expensive real sensor to measure Chl-a (Chlorophyll) fuorescence in a body of water. The soft-sensor infers the value of Chl-a from a set of variables (temperature, pH, conductivity, and battery level) obtained from low-cost real sensors.
In the context of these three use cases, the thesis explores the efects of feature selection on the performance of traditional Machine Learning models and Deep Learning models. Within the latter, the thesis proposes two models derived from the Transformers architecture, which has recently revolutionized the Natural Language Processing area.
The experiments conducted in this thesis demonstrate that machine learning is an efective tool to address problems related to the prediction, detection, or inference of complex events in real-time scenarios within the three selected application areas. Although these application areas present multiple diferences among them, the thesis presents a set of common conclusions about the practical application of machine learning models and the implications of feature selection on the complexity and performance of the models.