Tesis:
Multivariate time-series modelling and forecasting with high-order dynamic Bayesian networks applied in industrial settings
- Autor: QUESADA LÓPEZ, David
- Título: Multivariate time-series modelling and forecasting with high-order dynamic Bayesian networks applied in industrial settings
- Fecha: 2023
- Materia:
- Escuela: E.T.S DE INGENIEROS INFORMÁTICOS
- Departamentos: INTELIGENCIA ARTIFICIAL
- Acceso electrónico: https://oa.upm.es/77237/
- Director/a 1º: BIELZA LOZOYA, María Concepción
- Director/a 2º: LARRAÑAGA MÚGICA, Pedro María
- Resumen: With the proliferation in recent years of industrial systems monitored by sensors, there has been a drastic increase in the volume of data recovered that characterizes these systems. Specifically, the continuous recovery of data generates multivariate time series, which have specific characteristics and require special treatment. Additionally, industrial systems usually entail complex underlying processes, and these recovered time series offer valuable information about these processes and about the relationships between the variables in our system.
One model that allows us to work with time series data and that is able to offer us insights about the underlying process is dynamic Bayesian networks. However, the dynamic Bayesian network architecture is very restrictive, and cannot be freely applied to a wide range of industrial processes. Time series do not necessarily follow autoregressive order 1 and the relationships between their variables can come from non-linear physical processes. As opposed to this, dynamic Bayesian networks for continuous data usually assume normality and autoregressive order 1. On top of that, they are inherently lineal models in the case of linear Gaussian networks. These restrictions cause that dynamic Bayesian networks incur in severe inaccuracies when applied directly to industrial problems. In this dissertation, we focus on extending the dynamic Bayesian network model so that it can be applied as a general purpose model in industrial problems.
As our first contribution, we explore higher autoregressive orders of dynamic Bayesian networks to apply them for long-term forecasting of the temperature inside an industrial furnace. We create several dynamic Bayesian network models that are able to assimilate the tendency of the time series better as we increase the Markovian order of the networks up to a certain point. Thus, we are able to create a dynamic Bayesian network model that accurately forecasts the temperature inside an industrial furnace over spans of thousands of hours.
To fix the issue of increasing complexity when learning higher order networks, we propose a particle swarm algorithm to move through the space of possible structures. Firstly, we restrict the search to transition networks, which are graphs that only allow arcs to the most recent instant. Secondly, we define a natural number encoding and operators that are invariant to the Markovian order of the network in terms of particle size. Regardless of the desired Markovian order of the network, the size of the vectors that encode the graphs remains constant, increasing the efficiency of the algorithm for higher orders.
To make dynamic Bayesian network models more flexible in the presence of non-linear systems, we propose a hybrid model between model trees and dynamic Bayesian networks. This hybrid approach fits a classification and regression tree to some dataset and then fits a dynamic Bayesian network model in each of its leaf nodes. With this structure, we can use the tree to classify each new instance into one of the leaf dynamic Bayesian network models and use the most appropriate one to forecast the next instant. Afterwards, the forecasted values are processed again with the tree and a new dynamic Bayesian network model is selected, dynamically choosing the most fitting network for each instant over time. This allows us to perform non-linear inference via this piecewise regression mechanism.
As a last application of dynamic Bayesian networks, we have used them to forecast future states in a classification problem through time of the state of patients infected by the COVID-19, using neural networks as the classifier model.
Finally, we compiled and distributed the dynamic Bayesian network framework and all of our contributions inside an open source R package that allows a streamlined application of dynamic Bayesian networks in any industrial and real world settings.
RESUMEN
Con la proliferación en estos últimos años de sistemas industriales monitorizados por sensores, ha habido un incremento drástico en el volumen de datos recuperados que caracterizan estos sistemas. En particular, el guardado continuo de datos genera series temporales multivariantes, las cuales tienen características específicas y requieren un tratamiento especial. Además, los sistemas industriales normalmente contienen procesos complejos subyacentes, y estas series temporales ofrecen información valiosa sobre estos procesos y sobre cómo se relacionan las variables de nuestro sistema entre ellas.
Un modelo que nos permite tratar datos de series temporales y que es capaz de ofrecernos información sobre el proceso subyacente son las redes bayesianas dinámicas. Sin embargo, la arquitectura de estas redes es muy restrictiva, y no puede ser aplicada directamente a muchos procesos industriales. Las series temporales no necesariamente siguen un orden autorregresivo unitario y pueden tener variables cuyas relaciones vienen definidas por procesos físicos no lineales. Sin embargo, las redes bayesianas dinámicas para datos continuos suelen asumir normalidad en los datos y orden autorregresivo 1, siendo modelos lineales por definición en el caso de las redes lineales gaussianas. Estas restricciones provocan que la precisión de las redes bayesianas dinámicas disminuya cuando se aplican directamente a problemas industriales. En esta tesis vamos a extender el modelo de redes bayesianas dinámicas para que pueda usarse como un modelo de propósito general en problemas industriales.
En primer lugar, relajamos la restricción del orden autorregresivo de las redes bayesianas dinámicas para aplicarlas a la predicción a largo plazo de la temperatura dentro de un horno industrial. Para ello, creamos varios modelos de redes bayesianas dinámicas que son capaces de modelar mejor la tendencia de las series temporales según aumentamos el orden markoviano de las redes hasta un cierto punto. Con esto, generamos un modelo de redes bayesianas dinámicas que puede hacer predicciones precisas de la temperatura dentro del horno industrial a lo largo de periodos de miles de horas.
Para solucionar el aumento de complejidad del aprendizaje de estructuras de alto orden, proponemos un algoritmo de enjambre de partículas para movernos en el espacio de posibles grafos. Primero, restringimos la búsqueda a grafos que únicamente permiten arcos dirigidos al instante más reciente. Después, definimos unos operadores y una codificación por medio de vectores de números naturales que son independientes del orden markoviano de la red en términos de tamaño de las partículas. Así, el tamaño de los vectores que codifican las estructuras se mantiene constante sin importar el orden markoviano, mejorando la eficiencia del algoritmo para órdenes altos.
Para hacer los modelos de redes bayesinas dinámicas más flexibles en presencia de sistemas no lineales, proponemos un híbrido entre model trees y redes bayesianas dinámicas. Este híbrido ajusta un árbol de clasificación y regresión a un conjunto de datos y después ajusta un modelo de red bayesiana dinámica en cada una de las hojas del árbol. Con esta estructura, podemos utilizar el árbol para asignar cada nueva instancia a un modelo de una hoja del mismo y así usar el modelo de red bayesiana dinámica apropiado para predecir el siguiente instante. Esto nos permite realizar inferencia no lineal utilizando este mecanismo de regresión a trozos.
Como último caso de uso, hemos aplicado las redes bayesianas dinámicas a un problema de clasificación a lo largo del tiempo del estado de pacientes que sufren infecciones de COVID-19, usando redes neuronales combinadas como modelo clasificador.
Finalmente, hemos compilado y distribuido el modelo base de red bayesiana dinámica y todas nuestras contribuciones en un paquete de código abierto en R que permite una aplicación directa de las redes bayesianas dinámicas en casos industriales.