Tesis:
Adaptive Cooperative Learning Model based on Classifier Ensembles for Embedded Intelligent Systems
- Autor: VILLAVERDE SAN JOSÉ, Mónica
- Título: Adaptive Cooperative Learning Model based on Classifier Ensembles for Embedded Intelligent Systems
- Fecha: 2021
- Materia: Sin materia definida
- Escuela: E.T.S. DE INGENIEROS INDUSTRIALES
- Departamentos: AUTOMATICA, INGENIERIA ELECTRICA Y ELECTRONICA E INFORMATICA INDUSTRIAL
- Acceso electrónico: http://oa.upm.es/67720/
- Director/a 1º: MORENO GONZÁLEZ, Felix
- Resumen: Hoy en día, los sistemas inteligentes están presentes prácticamente en cualquier ámbito de nuestra vida, por lo que su interconexión y el desarrollo de dispositivos cada vez más complejos promueven la aparición de nuevas técnicas de inteligencia artificial que se adecúen a las nuevas necesidades. Dentro de este campo, los sistemas de clasificación tienen un protagonismo importante puesto que la toma de decisiones es un factor con mucho potencial a la hora de interconectar sistemas relacionados entre sí. Así mismo, la cooperación entre distintos dispositivos permite mejorar la capacidad de decisión dado que cada dispositivo puede aportar su punto de vista o su propia hipótesis ante la resolución de un problema de clasificación. Los sistemas clasificadores de conjunto (conocidos en inglés como classifier ensembles) son los encargados de implementar esa toma de decisión de forma cooperativa. Debido a la necesidad de interconexión de sistemas y al auge de las comunicaciones, surgió lo que se conoce como el Internet de las Cosas (en inglés Internet of Things -IoT-). La evolución del IoT ha derivado en nuevas definiciones dedicadas a ámbitos específicos como las Ciudades Inteligentes (en inglés Smart Cities) o las Redes Inteligentes (en inglés Smarts Grids). En ambos casos, la toma de decisiones es un factor clave para dotar al sistema de un mayor o menor grado de inteligencia, dado que los dispositivos tienden a trabajar en equipo para proporcionar un conocimiento del entorno más preciso y completo. La inteligencia de un sistema no sólo consiste en determinar cómo de fiable es el mismo sino también está relacionada con su grado de autonomía y su capacidad de adaptación ante cambios en el entorno. Por un lado, los sistemas deben proporcionar soluciones fiables que aseguren que la decisión tomada no suponga un riesgo para el funcionamiento del mismo. Por otro lado, la autonomía está relacionada con múltiples aspectos entre los que destacan: (i) la minimización del consumo de energía en caso de que el sistema requiera de una batería para su funcionamiento o (ii) el grado de mantenimiento por parte de los operadores o expertos humanos. Así mismo, la adaptación al entorno está íntimamente relacionada con la autonomía puesto que, ante cambios del entorno, el sistema debe ser capaz de adaptarse al nuevo escenario sin intervención ajena. En este sentido, los sistemas que requieren de entrenamientos previos muy exhaustivos suelen presentar un grado de autonomía menor que aquellos que no requieren de un entrenamiento tan especializado. En esta tesis se proponen dos posibles soluciones para hacer frente a la problemática de la adaptación. Por un lado, se presenta lo que se ha denominado árbol de clasificación dinámico (dynamic classification tree) y por otro lado se propone un nuevo algoritmo cooperativo basado en mayoría ponderada cuyos pesos se calculan de forma estocástica. El árbol de clasificación dinámico no está directamente relacionado con los clasificadores de conjunto, ya que lo que busca es realizar una clasificación dinámica, pero sí con la adaptación a los entornos dinámicos. Partiendo de un entrenamiento previo, el sistema es capaz de modificar su comportamiento para incluir nuevos tipos de objetos, que inicialmente no estaban presentes en el entrenamiento inicial, creando nuevos grupos -o clústeres- sin etiqueta asociada pero bien diferenciados del resto. Para llevar a cabo este objetivo, en este trabajo se incluye un análisis de los umbrales de poda y de agrupamiento para determinar su influencia sobre la calidad de la clasificación. Por otro lado, el nuevo algoritmo de clasificación cooperativo proporciona unas tasas de acierto aceptables, así como un grado de autonomía elevado, sobre todo relacionado con la adaptación ante entornos dinámicos. Así pues, se presenta como una alternativa adecuada para el uso en sistemas embebidos donde los recursos del sistema son muy limitados y no se dispone de potentes procesadores, por lo que es una alternativa a las redes neuronales cuya implementación requiere un entrenamiento exhaustivo y un coste computacional elevado. Para validar la eficacia del algoritmo cooperativo propuesto en esta tesis se realiza una comparativa con otros tipos de algoritmos cooperativos como son: (i) mayoría, (ii) mayoría ponderada y (iii) las redes neuronales adaptadas a tal propósito. El algoritmo propuesto es una mayoría ponderada donde los pesos se calculan de forma estocástica basándose en el método de Monte Carlo. Esta gestión de los pesos asociados a cada una de las contribuciones individuales hace que el sistema reajuste los valores de acuerdo con su propio comportamiento. En caso de producirse un cambio en el entorno, el sistema evolucionará dichos pesos para adaptarse mejor a la nueva situación. Los cambios del entorno pueden producirse como consecuencia de un cambio externo, como por ejemplo que las condiciones atmosféricas cambien, ya que este hecho puede hacer que determinados sensores vean reducida su efectividad. Sin embargo, también pueden considerarse cambios del entorno la modificación de la propia arquitectura del sistema multidispositivo, es decir, el hecho de que un dispositivo o los sensores asociados al mismo dejen de funcionar, implica que ese dispositivo debe reducir su influencia sobre la decisión final para no verse reducida la fiabilidad del sistema. El presente documento está dividido en 5 capítulos. En el capítulo 1 se presenta una introducción donde se expone la motivación de este trabajo, así como un repaso de la evolución de la inteligencia artificial y los sistemas inteligentes distribuidos donde se posicionan los sistemas clasificadores de conjunto. En el capítulo 2 se describen los algoritmos analizados en esta tesis, es decir, el árbol de decisión dinámico y el algoritmo de votación estocástica, así como otras alternativas existentes con las que posteriormente se realiza una comparativa. Adicionalmente, se presentan otras alternativas estudiadas que han tenido un menor impacto en el desarrollo de la tesis. El capítulo 3 expone los dos casos de estudio sobre los que se han aplicado los algoritmos propuestos. Por un lado, se presenta una aplicación basada en la identificación de objetos usando dispositivos radares como elemento sensor. Por otro lado, la segunda aplicación se enfoca a la identificación de números manuscritos extraídos de la base de datos pública MNIST. En el capítulo 4 se exponen los resultados obtenidos, así como una discusión de los mismos que permite validar las propuestas definidas en esta tesis. Finalmente, el capítulo 5 presenta las conclusiones de este trabajo, así como las contribuciones aportadas, los resultados y publicaciones científicas derivadas de esta investigación y las líneas futuras propuestas. ----------ABSTRACT---------- Nowadays, intelligent systems are present in practically any area of our lives, so their interconnection and the development of increasingly complex devices promote the emergence of new artificial intelligence techniques adapted to the incoming requirements. Within this field, classification systems play an important role since decision-making is a factor with great potential when it comes to interconnecting related systems. Likewise, the cooperation between different devices makes it possible to improve decision-making capacity since each device can provide its point of view or its own hypothesis when solving a classification problem. The classifier ensemble systems are responsible for implementing this decision cooperatively. Due to the need for interconnecting systems and the on-growing in communications field, the Internet of Things (IoT) emerged. The evolution of the IoT has led to new definitions dedicated to specific areas such as Smart Cities or Smart Grids. In both cases, decision-making is a key factor in providing the system with a greater or lesser degree of intelligence, since the devices tend to work as a team to provide more precise and complete knowledge of the environment. The intelligence of a system not only consists in determining how reliable it is but also is related to its degree of autonomy and its ability to adapt to changing environments. On the one hand, the systems must provide reliable solutions that ensure that the decision made does not pose a risk to its operation. On the other hand, autonomy is related to multiple aspects, among which the following stand out: (i) the minimization of energy consumption if the system requires a battery for its operation or (ii) the degree of maintenance by the human operators or experts. Likewise, environment adaptation is closely related to autonomy since, in the face of changes in the environment, the system must be able to adapt to the new scenario without any external intervention. In this sense, systems that require very exhaustive previous training tend to have a lower degree of autonomy than those that do not require such specialized training. In this thesis, two possible solutions are proposed to face the problem of adaptation. On the one hand, a dynamic classification tree is presented and on the other hand, a new cooperative algorithm based on a weighted majority, whose weights are stochastically calculated, is also designed. The dynamic classification tree is not directly related to ensemble classifiers, since what it seeks is to perform a dynamic classification, but it is related to adaptation to changing environments. Starting from a previous training, the system is capable of modifying its behavior to include new types of objects, which were not initially present in the initial training, creating new clusters without an associated label but well differentiated from the rest. To carry out this objective, this work includes an analysis of the pruning and clustering thresholds to determine their influence on the quality of the classification. On the other hand, the new cooperative classification algorithm provides acceptable hit rates as well as a high degree of autonomy, especially related to adaptation to dynamic environments. Thus, it is presented as a suitable alternative for use in embedded systems where system resources are very limited and powerful processors are not available, making it an alternative to neural networks whose implementation requires extensive training and high computational cost. In order to validate the effectiveness of the cooperative algorithm proposed in this thesis, a comparison with other types of cooperative algorithms is made, such as (i) majority, (ii) weighted majority, and (iii) neural networks adapted for this purpose. The proposed algorithm is a weighted majority where the weights are calculated stochastically based on the Monte Carlo method. This management of the weights associated with each of the individual contributions causes the system to readjust the values according to its own behavior. In case of a change in the environment appears, the system will evolve its weights to better adapt to the new situation. Changes in the environment can occur as a consequence of an external change, such as changing atmospheric conditions since this fact can cause certain sensors to reduce their effectiveness. However, changes in the environment can also be considered as a modification of the internal architecture of the multi-device system since, if a device or the sensors associated with it stop working, implies that this device must reduce its influence on the final decision to do not reduce the reliability of the system. This document is divided into 5 chapters. In Chapter 1 an introduction is presented where the motivation for this work is described, as well as a review of the evolution of artificial intelligence and distributed intelligent systems, where classifier ensembles are located, is also studied. Chapter 2 describes the algorithms proposed in this thesis, that is, the dynamic decision tree and the stochastic voting algorithm, as well as other existing alternatives with which a comparison is also made later. Additionally, other studied alternatives are presented that have had a lesser impact on the development of the thesis. Chapter 3 presents the two case studies on which the proposed algorithms have been applied. On the one hand, an application based on object identification using radar devices as a sensor element is presented. On the other hand, the second application is focused on the identification of handwritten numbers extracted from the public MNIST dataset. Chapter 4 presents the obtained results as well as a discussion of them that allows validating the proposals defined in this thesis. Finally, chapter 5 presents the conclusions of this work, as well as the contributions of this PhD thesis, the research publications from the developed work, and the proposed future lines.