<< Volver atrás

Tesis:

Machine Learning-Based Solution For Automatic Border Surveillance System

  • Autor: BELLAZI, Khalifa

  • Título: Machine Learning-Based Solution For Automatic Border Surveillance System

  • Fecha: 2024

  • Materia:

  • Escuela: E.T.S. DE INGENIEROS INDUSTRIALES

  • Departamentos: AUTOMATICA, INGENIERIA ELECTRICA Y ELECTRONICA E INFORMATICA INDUSTRIAL

  • Acceso electrónico: https://oa.upm.es/81845/

  • Director/a 1º: RIESGO ALCAIDE, Teresa
  • Director/a 2º: LANZA GUTIÉRREZ, José Manuel

  • Resumen: Developing and designing border surveillance systems to meet specific needs and requirements is a comprehensive process that involves careful assessment, customization, and consideration of environmental and operational factors. These systems are crucial for most nations worldwide, as they can provide real-time monitoring of vast areas, including remote and challenging terrains, which might pose a challenge for surveillance systems. Covering extensive areas with remote and difficult terrains presents significant challenges due to power limitations and high costs. To address the challenges faced by current border surveillance systems, such as power limitations, alternative energy sources and energy-efficient technologies are proposed. Additionally, cost management is achieved through the careful selection of equipment and modular designs. This enables surveillance systems for terrestrial environments to operate effectively in large, remote, and challenging terrains. The thesis's contribution to the field of surveillance systems focuses specifically on monitoring the Libyan Desert border. It highlights the unique approach of the research and its relevance to addressing challenges in a specific geographical and environmental context. The system utilizes unmanned fixed platforms equipped with infrared cameras (FLIR) and employs edge computing in the Internet of Things (IoT) framework. Within this framework, two Automatic Target Recognition (ATR) systems based on machine learning algorithms, specifically Bag-of-Features for feature extraction and supervised classification, are implemented. These run on low-power microprocessors to address the energy and computing capacity limitations of IoT edge nodes. The first proposed approach segments the infrared image into regions of interest before processing, while the second ATR system works directly with the entire image. To evaluate the performance of these ATR systems, a dataset of images specifically relevant to the Sahara Desert environment is used, allowing comprehensive testing and assessment of the system's capabilities. In this evaluation process, both approaches are considered in combination with four different classification algorithms: Support Vector Machine (SVM), K-Nearest Neighbors (KNN), Decision Tree (DT), and Naive Bayes (NB), along with three descriptors: SURF, SIFT, and ORB. As a conclusion of this experimental process, the use of generic classes is recommended due to the low resolution of infrared images. Additionally, the SURF-SVM prediction approach based on regions of interest achieved the highest detection capacity, reaching up to 97\%, with frame rates of up to 5.71 on the IoT edge device and 59.17 on the workstation. This approach, focusing on classifying three generic categories (animal, vehicle, and person), resulted in reduced confusion between classes compared to identifying specific targets. By employing generic categories, the system achieved an increase in detection capacity. These results demonstrate the feasibility of using edge computing for border surveillance, even in challenging environments like the Sahara Desert. RESUMEN Desarrollar y diseñar sistemas de vigilancia fronteriza para cumplir con necesidades y requisitos específicos es un proceso integral que implica una evaluación cuidadosa, personalización y consideración de factores ambientales y operativos. Estos sistemas son importantes para la mayoría de las naciones en todo el mundo, ya que pueden proporcionar monitoreo en tiempo real de grandes áreas, incluyendo terrenos remotos y difíciles, que podrían ser un desafío para los sistemas de vigilancia. Cubrir grandes áreas con terrenos remotos y difíciles plantea desafíos significativos debido a limitaciones de energía y altos costos. Para abordar los desafíos enfrentados por los sistemas actuales de vigilancia fronteriza, como limitaciones de energía, se proponen fuentes de energía alternativas y tecnologías eficientes en energía, además de gestionar costos mediante la selección cuidadosa de equipos y diseños modulares. Esto permite que los sistemas de vigilancia para entornos terrestres operen de manera efectiva en terrenos grandes, remotos y difíciles. La contribución de la tesis al campo de los sistemas de vigilancia se centra específicamente en el monitoreo de la frontera del Desierto Libio. Destaca el enfoque único de la investigación y su relevancia para abordar desafíos en un contexto geográfico y ambiental específico. El sistema utiliza plataformas fijas no tripuladas equipadas con cámaras de infrarrojos (FLIR) y emplea computación en el borde del Internet de las Cosas. Dentro de este marco, se implementan dos sistemas de Reconocimiento Automático de Objetivos (ATR) basados en algoritmos de aprendizaje automático, específicamente Bag-of-Features para la extracción de características y el uso de clasificación supervisada. Estos se ejecutan en microprocesadores de baja potencia para abordar las limitaciones de energía y capacidad de cómputo de los nodos en el borde del Internet de las Cosas. El primer enfoque propuesto segmenta la imagen de infrarrojos en regiones de interés antes del procesamiento, mientras que el segundo sistema ATR trabaja directamente con la imagen completa. Para evaluar el rendimiento de estos sistemas ATR se utiliza un conjunto de datos de imágenes específicamente relevante para el entorno del Desierto del Sáhara, permitiendo pruebas exhaustivas y evaluación de las capacidades de los sistemas. Para llevar a cabo este proceso se evaluación, se consideraron ambas aproximaciones en su combinación de cuatro algoritmos de clasificación diferentes, Máquina de Soporte Vectorial (SVM), Vecinos Más Cercanos (KNN), Árbol de Decisiones (DT) y Naive Bayes (NB), en combinación con tres descriptores, SURF, SIFT y ORB. Como conclusión de este proceso experimental, se recomienda utilizar clases genéricas debido a la baja resolución de las imágenes de infrarrojos. Además, el enfoque de predicción basado en el uso de regiones de interés SURF-SVM logró la mayor capacidad de detección, alcanzando hasta un 97\%, con frame rates de hasta 5.71 en el dispositivo de borde del Internet de las Cosas y 59.17 en la estación de trabajo. Este enfoque, que se centra en clasificar tres categorías genéricas (animal, vehículo y persona), resultó en una disminución de la confusión entre clases en comparación con la identificación de objetivos específicos. Al emplear categorías genéricas, el sistema logró un aumento en la capacidad de detección. Estos resultados muestran la viabilidad de utilizar la computación en el borde para la vigilancia fronteriza, incluso en entornos desafiantes como el Desierto del Sáhara.