Tesis:
Uncertainty management and performance optimisation in airport operations using probabilistic reasoning and reinforcement learning techniques = Gestión de la incertidumbre y optimización del rendimiento en la operativa aeroportuaria empleando técnicas de razonamiento probabilístico y aprendizaje por refuerzo
- Autor: RODRÍGUEZ SANZ, Álvaro
- Título: Uncertainty management and performance optimisation in airport operations using probabilistic reasoning and reinforcement learning techniques = Gestión de la incertidumbre y optimización del rendimiento en la operativa aeroportuaria empleando técnicas de razonamiento probabilístico y aprendizaje por refuerzo
- Fecha: 2019
- Materia: Sin materia definida
- Escuela: E.T.S.I. AERONÁUTICA Y DEL ESPACIO
- Departamentos: SISTEMAS AEROESPACIALES, TRANSPORTE AEREO Y AEROPUERTOS
- Acceso electrónico: http://oa.upm.es/56261/
- Director/a 1º: GÓMEZ COMENDADOR, Víctor Fernando
- Resumen: Las redes de tráfico aéreo, donde los aeropuertos son los nodos que interconectan el conjunto del sistema, tienen una naturaleza estocástica y variable en el tiempo. Un incidente en el entorno del aeropuerto puede propagarse fácilmente a través de la red y amplificar sus efectos a nivel del sistema. Este estudio desarrolla un análisis funcional del flujo de la aeronave a través del marco conocido como Airport Transit View (ATV), centrándose en las operaciones integradas para el espacio aéreo circundante y el lado aire del aeropuerto. Se utiliza un límite espacial dinámico asociado con el concepto de Extended-Terminal Manoeuvring Area (E-TMA), que permite enlazar operaciones de llegada y salida. Las operaciones aeroportuarias son caracterizadas a través de diferentes marcas o hitos temporales, que surgen de la combinación de un Business Process Model (BPM) para el flujo de la aeronave y la metodología Airport-Collaborative Decision Making (A-CDM). Este enfoque mixto de “marcas temporales” nos permite estudiar sucesivas tareas jerárquicas en la operativa. El objetivo es establecer una taxonomía que clasifique la capacidad del sistema para "recibir y transmitir" flujos de aeronaves según el cumplimiento de los horarios previstos. Mediante el registro del retraso acumulado a través de los diferentes procesos y el análisis de su evolución, se proponen varios indicadores para evaluar el nivel de saturación del sistema y su capacidad para garantizar un flujo adecuado de aeronaves en términos de eficiencia temporal. Estas métricas nos proporcionan evaluaciones precisas de posibles problemas de congestión y demoras. Además, el estudio establece una metodología para predecir y evaluar el estado operativo del sistema aeroportuario (como medio para gestionar la incertidumbre asociada a su operativa). Esta metodología se estructura en dos pasos: la etapa de predicción y la etapa de confiabilidad. En primer lugar, el modelo de predicción se basa en un enfoque de Redes Bayesianas: las relaciones entre los factores que influyen en los procesos de las aeronaves se evalúan para crear un modelo gráfico probabilístico. Este modelo aumenta la previsibilidad y, por lo tanto, mejora la robustez del sistema (permite la inferencia cruzada para obtener conclusiones bajo incertidumbre, cuando están involucrados patrones de interacción complejos y múltiples fuentes de información). El modelo predice los retrasos a la salida y el nivel de congestión del sistema (nodos resultado), dada la probabilidad de tener diferentes valores en las variables de control causales (lo que se denomina análisis directo). Además, al establecer un valor objetivo para los niveles de demora o congestión, el modelo admite un análisis inverso y proporciona la configuración óptima para los nodos de entrada (lo que permite localizar los principales precursores para ciertas situaciones). En consecuencia, el modelo predice y diagnostica la propagación de demoras y la saturación del sistema a través de una visión probabilística, lo que es consistente con el tratamiento de procesos de tipo estocástico como son las operaciones aeroportuarias. Como conclusión, se presentan varias lecciones aprendidas sobre la propagación de retrasos, la saturación temporal, los precursores de incertidumbre y la recuperación del sistema. Los resultados permiten establecer estrategias operativas y sacar conclusiones sobre el rendimiento y las funcionalidades del sistema. En segundo lugar, el análisis de la confiabilidad operacional para el aeropuerto está fundamentalmente vinculado al conocimiento del comportamiento y la dinámica del sistema. Este estudio propone un enfoque basado en sistemas multiestado para evaluar las prestaciones del aeropuerto a nivel táctico (escala temporal), centrándose en las operaciones de rotación entre vuelos de llegada y salida para el espacio aéreo circundante y el lado aire del aeropuerto (escala espacial) y considerando diferentes áreas: demora, capacidad, impacto ambiental y complejidad operativa. Los aeropuertos son infraestructuras de transporte que pueden completar sus tareas con niveles de rendimiento parciales: fallos en algunos elementos del sistema pueden conducir a una degradación gradual del comportamiento global, que no se puede evaluar con la visión binaria tradicional de confiabilidad (funciona - no funciona). Para considerar esta granularidad en las prestaciones del sistema, nuestro modelo utiliza un enfoque que analiza múltiples estados parciales. El uso de las cadenas de Markov nos permite predecir la evolución de la confiabilidad/degradación del sistema y pasar de la aplicación de medidas reactivas a proponer intervenciones predictivas. Por lo tanto, el modelo representa una evolución desde la visión tradicional correctiva y binaria del análisis de rendimiento y degradación hacia un enfoque predictivo y multiestado. El modelo también considera el impacto de la estocasticidad en la predicción de prestaciones mediante la evaluación de la dinámica operativa del sistema. Los resultados muestran que el aeropuerto tiende a evolucionar hacia estados reparados, y que los retrasos son los principales impulsores de la dinámica de rendimiento del aeropuerto. Los procesos en tierra de la aeronave son un camino crítico en la red de tráfico aéreo. Una gestión adecuada y fiable del tiempo de rotación programado en el aeropuerto es esencial para la robustez y eficiencia del sistema. Este estudio presenta un método basado en programación dinámica adaptativa y aprendizaje por refuerzo para optimizar las políticas de las aerolíneas con respecto a la programación de los tiempos de rotación. El modelo utiliza la demora de llegada y el nivel de congestión del aeropuerto como variables de estado, mientras que el tiempo de rotación es la variable de control. El enfoque incorpora un bucle de control que es capaz de adaptar la política propuesta a los cambios en el sistema, lo cual constituye una característica clave debido a la naturaleza no lineal, estocástica y variable con el tiempo de las operaciones aeroportuarias. Además, la metodología propuesta proporciona una regla para la toma de decisiones y no únicamente un valor óptimo estático. La función de costes del método no sólo considera los costes de demora y de búfer (tiempo de “amortiguación”), sino también los costes relacionados con las perturbaciones en el cumplimiento de los horarios, las demoras internas (locales) y el nivel de congestión en el aeropuerto. Así, este enfoque amplía el problema de asignación del tiempo de rotación hacia una visión global a nivel de sistema. El análisis se centra en dos aerolíneas con diferentes modelos de negocio. Los resultados muestran que un uso preciso de los métodos de asignación del tiempo de rotación puede ayudar a los operadores aéreos a gestionar el rendimiento en la operativa, al minimizar los costes del sistema. Las metodologías propuestas se validan a través de varios casos de estudio en un importante aeropuerto europeo con estructura ‘hub’ (Madrid): se utiliza una colección de 160,460 rotaciones (registradas en 2016) para determinar estadísticamente las características operativas del flujo de la aeronave, así como para evaluar y predecir el estado del sistema en el entorno aeroportuario. La contribución de la tesis es cuádruple: (i) presenta una nueva metodología probabilística para abordar la incertidumbre en operaciones aeroportuarias, vinculando los vuelos de llegada con los vuelos de salida (etapa de rotación); (ii) proporciona información sobre las interdependencias entre los factores que afectan al rendimiento y las prestaciones del sistema; (iii) evalúa la dinámica operativa del aeropuerto; y (iv) propone un modelo para optimizar las políticas de respuesta. ----------ABSTRACT---------- Air traffic networks, where airports are the nodes that interconnect the entire system, have a time-varying and stochastic nature. An incident at the airport environment may easily propagate through the network and generate system-level effects. This study develops a functional analysis of the aircraft flow through the Airport Transit View (ATV) framework, focusing on the airspace/airside integrated operations. In this analysis, we use a dynamic spatial boundary associated with the Extended-Terminal Manoeuvring Area (E-TMA) concept, so inbound and outbound timestamps can be considered and linked. Aircraft operations are characterised by different temporal milestones, which arise from the combination of a Business Process Model (BPM) for the aircraft flow and the Airport-Collaborative Decision Making (A-CDM) methodology. This timestamp approach allows us to study successive hierarchical tasks. The objective is to establish a taxonomy that classifies the system’s capacity to “receive and transmit” aircraft streams with adherence to the expected schedule. By considering the accumulated delay across the different processes and its evolution, several indicators are proposed to evaluate the system’s level of saturation and its ability to ensure an appropriate aircraft flow in terms of time-efficiency. These metrics provide us with accurate assessments of potential congestion and delay issues. Moreover, the study sets out a methodology for predicting and evaluating the operational state of the airport system (uncertainty management). This methodology is structured in two steps: the prediction stage and the reliability stage. First, the prediction model is based on a Bayesian Network approach: relationships between factors influencing aircraft processes are evaluated to create a probabilistic graphical model. This model increases predictability, hence improving the system’s robustness (it allows cross-inference for deriving conclusions under uncertainty, where multiple sources of information and complex interaction patterns are involved). The model predicts outbound delays and system congestion (output nodes) given the probability of having different values at the causal control variables (forward analysis). Furthermore, by setting a target to delay or congestion, the model performs a backward analysis and provides us with the optimal configuration for the input nodes (location of main drivers and precursors for certain situations). Consequently, the model predicts and diagnoses delay propagation and system saturation through a probabilistic view, which is consistent with the treatment of stochastic-like processes as airport operations. We present several lessons learned regarding spread of delay, time saturation, uncertainty precursors and system recovery. These results can be applied to derive operational strategies and draw conclusions regarding performance. Second, the analysis of the airport operational reliability is fundamentally linked to the knowledge of the system’s behaviour and dynamics. This study proposes a model based on a Multistate System approach for assessing airport performance at a tactical level (time scale), focusing on the airspace-airside turnaround operations (space scale) and considering different areas: delay, capacity, environmental impact and operational complexity. Airports are transportation infrastructures that can complete their tasks with partial performance levels: failures of some system elements may lead to partial degradation of the system behaviour, which cannot be assessed with the traditional binary reliability view (working – not working). To consider this performance granularity, our model uses a Multistate approach. A Markov-chain based methodology allows us to predict the system’s reliability evolution and move from reactionary measures to predictive interventions. Hence, the model represents an evolution from the traditional corrective and binary vision of performance analysis towards a predictive and multistate approach. It also considers the impact of stochasticity on performance prediction by assessing the system operational dynamics. Results show that the airport tends to evolve towards repaired states, and that delays are major drivers for airport performance dynamics. Airport ground processes are a critical path in the air traffic network. The management and reliability of the scheduled turnaround time is essential for the system’s robustness and efficiency. This study presents a method based on adaptive dynamic programming and reinforcement learning to optimise airline policies regarding the scheduling of turnaround times. The model uses arrival delay and the airport level of congestion as state variables, while the turnaround time is the control variable. The feedback control approach is capable to adapt the proposed policy to changes in the system, which is a key feature due to the non-linear, stochastic and time-varying nature of airport operations. Moreover, the methodology provides a decision-making rule and not only a static optimal value. The cost function of the method considers delay and “buffer” costs, but also costs related to perturbations in schedule adherence, internal (local) delays and airport level of congestion. This approach widens the turnaround time allocation problem to a system-level view. We focus the analysis on two carriers with different business models. Results show that an accurate use of turnaround time allocation methods may help airlines to manage the punctuality performance of aircraft during turnaround operations by minimising system costs. The proposed methodologies are validated through several case studies at a major European hub airport (Madrid): a collection of 160,460 turnaround operations (registered at 2016) is used to statistically determine the operational characteristics of the aircraft flow, and also to evaluate and predict the system’s state at the airport surrounding environment. The contribution of the thesis is fourfold: (i) it presents a novel probabilistic approach to tackle uncertainty in airport operations, when linking inbound and outbound flights (rotation stage); (ii) it provides insights on the interdependencies among factors driving performance; (iii) it evaluates airport operational dynamics; and (iv) it proposes a model to optimise response policies.