Tesis:
Development and validation of an innovative system for weed species identification and mapping by combining UAV-based imagery and deep learning techniques
- Autor: MESIAS RUIZ, Gustavo Adolfo
- Título: Development and validation of an innovative system for weed species identification and mapping by combining UAV-based imagery and deep learning techniques
- Fecha: 2025
- Materia:
- Escuela: E.T.S. DE INGENIERÍA AGRONÓMICA, ALIMENTARIA Y DE BIOSISTEMAS
- Departamentos: SIN DEPARTAMENTO DEFINIDO
- Acceso electrónico: https://oa.upm.es/86804/
- Director/a 1º: DORADO GÓMEZ, José
- Director/a 2º: PEÑA BARRAGÁN, Jose Manuel
- Resumen: Crop protection is essential to ensure agricultural production against threats such as weeds, diseases and pests. The evolution towards Agriculture 5.0 has incorporated advanced technologies such as artificial intelligence (AI), robotics and deep learning (DL), which enable smart and sustainable crop management. One of the most critical challenges in crop protection is the early and accurate identification of weed species, which allows for effective control during the most sensitive stage of these weeds. In addition, site-specific weed management in precision agriculture requires detection of these species for targeted mapping. However, this process faces difficulties due to the morphological similarities between crops and weeds in early growth stages. Technologies such as unmanned aerial vehicles (UAVs), advanced sensors and DL are essential in precision agriculture as they improve both, the efficiency and sustainability of farming practices.
The main objective of this research was to develop an automatic system for early identification of weed species using UAV-captured imagery and cutting-edge AI algorithms. To achieve this, advances in weed identification using AI were first reviewed, creating a taxonomy that includes both traditional and advanced neural network-based approaches. In addition, representative datasets of high quality UAV imagery were developed, in which weed species were labeled in their early growth stages and under various conditions.
Using these databases, the study focused on the multiclass classification of weeds through convolutional neural networks (CNNs). To this end, frameworks such as TensorFlow and PyTorch were used, optimizing the handling of large volumes of data and improving computational efficiency. Convolutional neural networks, architectures such as VGG16, ResNet152, Inception-ResNet-v2, EfficientNet-B0 and YOLOv8, as well as vision transformers (ViT) such as ViT-Base and Swin-T were analyzed in the classification task. These models demonstrated their effectiveness in identifying weeds under various environmental conditions, achieving accuracies above 90%. However, the variability in performance with unbalanced datasets complicated the identification of less represented species.
Comparison between CNN-based models and ViT revealed that architectures such as YOLOv8 and Swin-T offer balanced performance in the accurate classification of weeds at the species level in early stages. Additionally, the integration of DL models for object detection, such as Faster R-CNN, YOLOv8m, DETA and DETR with geographic information systems enabled the automated generation of geo-referenced weed distribution maps. The use of techniques such as generative adversarial networks (GANs) to generate synthetic images has shown improvements in model generalization across different phenological states of weeds, significantly increasing accuracy while also raising computational costs.
The integration of UAV imagery and cutting-edge DL algorithms enables early and accurate identification of weed species, as well as the generation of georeferenced maps essential for informed decision-making. These maps facilitate the visualization of weed distribution, contributing to sustainable management strategies and reducing herbicide use. This research, pioneering the detection, classification and mapping of weeds using low-altitude UAV imagery, highlights the need to develop efficient classifiers and detectors for targeted control using advanced technologies.
RESUMEN
La protección de cultivos es esencial para garantizar la producción agrícola frente a amenazas como malas hierbas, enfermedades y plagas. La evolución hacia la Agricultura 5.0 ha incorporado tecnologías avanzadas como la inteligencia artificial (IA), la robótica y aprendizaje profundo (DL), permitiendo una gestión inteligente y sostenible de los cultivos. Uno de los desafíos más críticos en la protección de cultivos es la identificación temprana y precisa de especies de malas hierbas, lo cual permite realizar un control efectivo en la etapa más sensible de las especies arvenses. Además, el manejo localizado de malas hierbas en el marco de la agricultura de precisión requiere la detección de estas especies para la elaboración de mapas específicos. Sin embargo, este proceso enfrenta dificultades debido a las similitudes morfológicas entre cultivos y malas hierbas en etapas tempranas de crecimiento. Tecnologías como los vehículos aéreos no tripulados (UAV), sensores avanzados y DL son fundamentales en la agricultura de precisión, ya que mejoran tanto la eficiencia como la sostenibilidad de las prácticas agrícolas.
El objetivo principal de esta investigación fue desarrollar un sistema automático para la identificación temprana de especies de malas hierbas utilizando imágenes capturadas por UAV y algoritmos de IA de última generación. Para ello, en primer lugar, se revisaron los avances en la identificación de malas hierbas mediante IA, creando una taxonomía que abarca tanto métodos tradicionales como avanzados basados en redes neuronales. Además, se desarrollaron bases de datos representativas con imágenes de alta calidad obtenidas por UAV, en las cuales se etiquetaron especies de malas hierbas en las primeras etapas de crecimiento y en diversas condiciones.
Utilizando estas bases de datos, el estudio se centró en la clasificación multiclase de malas hierbas mediante redes neuronales convolucionales (CNN). Para ello, se utilizaron frameworks como TensorFlow y PyTorch, lo que permitió optimizar el manejo de grandes volúmenes de datos y mejorar la eficiencia computacional. Se evaluaron modelos de CNN como VGG16, ResNet152, Inception-ResNet-v2, EfficientNet-B0 y YOLOv8, así como transformadores de visión (ViT) como ViT-Base y Swin-T. Estos modelos demostraron su eficacia en la identificación de malas hierbas en diversas condiciones ambientales, alcanzando exactitudes superiores al 90%. Sin embargo, la variabilidad del rendimiento en bases de datos desbalanceadas complicó la identificación de especies menos representadas.
La comparación entre modelos basados en CNN avanzadas y ViT reveló que arquitecturas como YOLOv8 y Swin-T ofrecen un rendimiento equilibrado en la clasificación precisa de malas hierbas a nivel de especie en etapas tempranas. Además, la integración de modelos de DL para la detección de objetos, como Faster R-CNN, YOLOv8m, DETA y DETR, con sistemas de información geográfica, permitió la generación automatizada de mapas georreferenciados de distribución de malas hierbas. El uso de técnicas como redes generativas adversarias (GANs) para generar imágenes sintéticas ha mostrado mejoras en la generalización de modelos en distintos estados fenológicos de las malas hierbas, incrementando significativamente la exactitud, aunque también aumentando el costo computacional.
Esta investigación, pionera en la detección, clasificación y mapeo de malas hierbas a partir de imágenes de UAV, destaco la necesidad de desarrollar clasificadores y detectores eficientes para un control específico mediante tecnologías avanzadas. La integración de imágenes UAV y algoritmos de DL de última generación permitió la identificación temprana y precisa de especies de malas hierbas, así como la generación de mapas georeferenciados esenciales para una toma de decisiones informadas. Estos mapas facilitan la visualización de la distribución de malas hierbas, contribuyendo a estrategias de manejo sostenible y a la reducción del uso de herbicidas.