Tesis:
Few-shot learning techniques for challenging applications: automatic mineral and vehicle recognition
- Autor: BELL NAVAS, Andrés
- Título: Few-shot learning techniques for challenging applications: automatic mineral and vehicle recognition
- Fecha: 2022
- Materia: Sin materia definida
- Escuela: E.T.S. DE INGENIEROS DE TELECOMUNICACION
- Departamentos: SEÑALES, SISTEMAS Y RADIOCOMUNICACIONES
- Acceso electrónico: https://oa.upm.es/70173/
- Director/a 1º: BLANCO ADÁN, Carlos Roberto del
- Resumen: En la presente tesis se ha propuesto el uso de técnicas basadas en aprendizaje con pocas muestras de entrenamiento, o ‘few-shot learning’, para detección de objetos y segmentación semántica en aplicaciones innovadoras de gran impacto en los campos de la geología y la seguridad vial. El problema en común, presente en muchos ámbitos, es la dificultad de elaborar grandes bases de datos anotadas. Esto, junto al auge de las técnicas de ‘few-shot learning’ que impulsan el rápido despliegue de sistemas de aprendizaje máquina, ha dado lugar al desarrollo de sistemas automáticos para dos aplicaciones desafiantes: reconocimiento de minerales en testigos escaneados y en muestras geológicas de minerales o rocas, y la detección nocturna de vehículos en imágenes adquiridas por cámaras de vídeo de redes de vigilancia de tráfico. Dos sistemas se han propuesto como parte del proyecto europeo de investigación Innolog para el reconocimiento de minerales. Uno de ellos procesa imágenes hiperspectrales de cajas de testigos mediante un procedimiento de creación de bases de datos y una red neuronal profunda adaptada. El otro sistema emplea redes siamesas y transformaciones sobre firmas espectrales Raman e infrarrojo. Se ha desarrollado también un sistema para la detección de vehículos de noche. Se basa en un algoritmo novedoso que utiliza una red de clasificadores foveales, donde cada uno procesa un descriptor global común por imagen para detectar vehículos. Dicho sistema solo requiere para entrenar anotaciones basadas en puntos. Los resultados obtenidos demuestran la calidad de reconocimiento y el funcionamiento en tiempo real de los sistemas propuestos. ----------ABSTRACT---------- In this Ph.D. thesis, few-shot learning techniques have been proposed for object detection and semantic segmentation in innovative high-impact applications in the fields of geology and traffic safety. Their common problem, as in many realistic fields, is the difficulty to elaborate and annotate large databases, having available instead a limited number of samples. This, and given that the growth of few-shot learning encourages a fast and inexpensive deployment of machine learning systems, has led to develop automatic systems for two challenging applications: mineral recognition in drilled cores and in geological samples of minerals or rocks, and nighttime vehicle detection in images acquired by video cameras from traffic surveillance networks. For mineral recognition, two systems have been proposed as part of Innolog, a European Research Project. One of them is focused on processing hyperspectral imagery of drill-core boxes with a machine learning-compatible database creation procedure and an adapted deep neural network. The other system processes infrared and Raman spectral signatures using Siamese Networks and data transformation methods. Regarding vehicle detection, the developed system has been focused on the challenging and critical nighttime scenario. For this purpose, a novel framework based on a grid of foveal classifiers has been designed. Every classifier from the grid processes a global image descriptor (one computed per image) to locate vehicles. Only point-based annotations are required to train the classifiers, speeding up the database creation. Experimental results prove the effectiveness and real-time operation of the proposed systems.