Tesis:
Towards Explainable Machine Learning for Anomaly Detection in Real-World Contexts
- Autor: BARBADO GONZÁLEZ, Alberto
- Título: Towards Explainable Machine Learning for Anomaly Detection in Real-World Contexts
- Fecha: 2023
- Materia:
- Escuela: E.T.S DE INGENIEROS INFORMÁTICOS
- Departamentos: INTELIGENCIA ARTIFICIAL
- Acceso electrónico: https://oa.upm.es/73247/
- Director/a 1º: CORCHO, Oscar
- Director/a 2º: BENJAMINS, Richard
- Resumen: Anomaly detection is a crucial task within many real-world applications since it can find patterns in data that do not follow the expected behaviour. Consequently, it serves for addressing different business problems, from discovering fraudulent credit card transactions to detecting faults within mechanical systems. Among the different approaches for detecting anomalies within large amounts of data, unsupervised techniques, especially unsupervised Machine Learning (ML), are particularly useful because there is normally a scarcity of labelled anomalies, hindering the usage of supervised methods.
Many of those unsupervised methods are black boxes that only provide a binary output, lacking explanation about the factors behind the model’s decision. A solution for solving this issue is the usage of Explainable Artificial Intelligence (XAI) techniques. One of the aims of XAI is enabling humans to understand a model’s decision. However, most of the research on XAI deals with supervised models. Hence, there is a need of additional research for the usage of XAI, in general, and for explaining unsupervised anomaly detection models in particular.
Nevertheless, there are several XAI methods that can be considered for this purpose, and it is not trivial to compare them for finding the best one to choose for a specific use case. This highlights the need for XAI-specific metrics that can quantitatively measure different aspects of the quality of the explanations that have been generated. Another limitation is that XAI can provide explanations that contradict prior domain knowledge, leading to potentially misleading or incorrect conclusions. This leads to the research problems studied within this thesis.
In the first part of the thesis, we work with rule extraction-based techniques applied to unsupervised ML algorithms for anomaly detection. We propose two metrics, stability and diversity, for measuring the quality of the explanations, along with other metrics. We also include two new algorithmic variations of an already-existing post-hoc XAI technique for rule extraction. This leads to an end-to-end framework for generating and explaining anomalies from unsupervised ML algorithms, which has been published as an open-source library.
After that, we study the applicability of XAI for explaining anomalies within real-world industry contexts. First, we analyse it within the context of telecommunications data, where we propose an algorithm for generating visual and counterfactual explanations for unsupervised ML algorithms for anomaly detection. The algorithm includes prior domain knowledge during the phase for searching hyperparameter combinations that not only have a good model performance, but also generate explanations that are aligned with that prior knowledge.
Then, we study XAI for explaining fuel anomalies of diesel and petrol vehicles. We propose an approach for generating explanations that identify vehicles with anomalous fuel consumption, the potential causes behind them, and the impact that those anomalies have on the fuel usage. These explanations are used for generating fuel saving recommendations that are adjusted depending on two different user profiles that will use them: fleet managers and fleet operators. The proposal includes an evaluation with XAI-specific metrics, and the combination of XAI techniques with prior domain knowledge for both explanation generation and metric evaluations.
Our work is relevant at a scientific, industry and business level: we have published two papers that are already cited, there are two patents associated to our proposals, and these proposals are already part of software products deployed to production.
RESUMEN
Detectar anomalías es crucial en muchas aplicaciones industriales debido a que se pueden encontrar patrones en los datos que no siguen un comportamiento esperado. Así, sirve para abordar distintos problemas de negocio, desde el descubrimiento de transacciones fraudulentas a la detección de fallos dentro de un sistema mecánico. Dentro de las soluciones para detectar anomalías en grandes volúmenes de datos destacan las de Aprendizaje Automático (ML) no supervisado, especialmente cuando no se dispone de información previas sobre dichas anomalías.
Muchas de esas técnicas son "cajas negras" que no incluyen sin explicaciones sobre factores detrás de la decisión del modelo. Una solución para solventarlo es la Inteligencia Artificial Explicable (XAI). Con XAI se ayuda a qué el ser humano entienda la decisión que ha tomado el modelo. Sin embargo, la mayor parte de la investigación sobre XAI se ha centrado en modelos de ML supervisados, existiendo un ámbito por explorar sobre los modelos no supervisados en general, y particularmente en el caso de los de detección de anomalías.
Existen distintas técnicas de XAI que se pueden considerar para este propósito y no es trivial ver cómo poderlas comparar para elegir la mejor para cada caso de uso específico. Esto resalta la necesidad de disponer de métricas de XAI que sirvan para poder medir, de manera cuantitativa, distintos aspectos relacionados con las explicaciones que se han generado. Otra limitación es que las técnicas de XAI pueden generar explicaciones que contradigan el conocimiento a priori del dominio, lo que puede llevar a dar información potencialmente engañosa o a tomar conclusiones erróneas. Esto conduce a los problemas de investigación estudiados en esta tesis.
En la primera parte de la tesis se trabaja con técnicas basadas en la extracción de reglas aplicadas a algoritmos de ML no supervisados para la detección de anomalías. Proponemos dos métricas, estabilidad y diversidad, para medir la calidad de las explicaciones. También proponemos dos algoritmos basados en una técnica post-hoc de XAI ya existente para la extracción de reglas. Esto conduce a una solución integral para generar y explicar anomalías sobre de algoritmos ML no supervisados, publicado como una librería de código abierto.
Después estudiamos las técnicas de XAI para explicar anomalías en contextos industriales reales. Primero, lo analizamos dentro del contexto de los datos de telecomunicaciones, proponiendo un algoritmo para generar explicaciones visuales y contrafactuales para ML no supervisado para detección de anomalías. Nuestro algoritmo incluye conocimiento previo del dominio durante la fase de búsqueda de hiperparámetros no sólo considerando un buen rendimiento del modelo, sino también el que las explicaciones estén alineadas con ese conocimiento previo.
Tras ello, estudiamos el uso de XAI para explicar anomalías de combustible de vehículos. Proponemos una metodología para generar explicaciones que identifiquen vehículos con consumo anómalo de combustible, las causas detrás de ello y el impacto que esas anomalías tienen en el uso de combustible. Estas explicaciones generarán recomendaciones de ahorro de combustible ajustadas para dos perfiles diferentes: gestores de flotas y operadores de flotas. La propuesta incluye una evaluación con métricas específicas de XAI, y la combinación de XAI con conocimiento previo del dominio para la generación de explicaciones y para la evaluación de métricas.
Nuestro trabajo es relevante a nivel científico, industrial y empresarial: hemos publicado dos trabajos ya citados, se han generado dos patentes industriales, y nuestras propuestas ya forman parte de productos de software desplegados en producción.