Tesis:
Optical sensors for crop monitoring – From 2D to 3D reconstruction
- Autor: MORENO PÁRRIZAS, Hugo
- Título: Optical sensors for crop monitoring – From 2D to 3D reconstruction
- Fecha: 2020
- Materia: Sin materia definida
- Escuela: E.T.S. DE INGENIERÍA AGRONÓMICA, ALIMENTARIA Y DE BIOSISTEMAS
- Departamentos: INGENIERIA FORESTAL
- Acceso electrónico: http://oa.upm.es/66974/
- Director/a 1º: ANDÚJAR SÁNCHEZ, Dionisio
- Director/a 2º: VALERO UBIERNA, Constantino
- Resumen: La población mundial se prevé que pasará de 7.600 millones a 10.500 millones de personas en 50 años, mientras que la tierra apta para el cultivo per cápita disminuirá en un 25% (Britt et al., 2018). Durante la Cumbre Mundial sobre la Seguridad Alimentaria se declaró que en 2050 "el crecimiento en los países de ingresos bajos y medios, aceleraría la transición de la dieta hacia un mayor consumo de carne, frutas y hortalizas, en relación con el de cereales, lo que exigiría cambios proporcionales en la producción y aumentaría la presión sobre los recursos naturales" (Calicioglu et al., 2019). A este respecto, con la generalización en relación a la disposición de tecnologías de Agricultura de Precisión (AP), se han incorporado sensores y actuadores en la maquinaria agrícola que han permitido el aumento de los rendimientos en las cosechas y la reducción de los necesarios insumos. Esto ha significado además una ayuda significativa para los agricultores en las tareas de supervisión y ejecución de prácticas agrícolas a fin de superar los retos que plantea la perspectiva de alimentar al mundo de manera eficaz y sostenible. Además, la AP, cuyo crecimiento se ha visto reforzado por los extraordinarios avances tecnológicos, ha fusionado los mundos físico, digital y biológico. La cuarta revolución industrial tiene también su reflejo en la detección próxima gracias a las innovaciones tecnológicas, con más proyección en la AP debido a la disponibilidad de nuevas herramientas de adquisición de imágenes y al aumento de la capacidad de procesamiento de los dispositivos informáticos para su estudio. Según este contexto, esta Tesis Doctoral se ha centrado en la evaluación y el análisis de diferentes sensores ópticos para la reconstrucción geométrica de especies vegetales, ya que el modelado en tres dimensiones de los cultivos permite tomar decisiones para la gestión localizada y específica según las diferentes etapas evolutivas de dichos cultivos. En el primer estudio se realizó desde un enfoque bidimensional (a través de la obtención de perfiles) con el objetivo de establecer una metodología apropiada para la discriminación de plantas de maíz y diversas malas hierbas que infestaban el cultivo. La precisión y el rendimiento de un sensor de detección LiDAR (Light Detection and Ranging) se evaluó utilizando un doble índice de medición: considerando mediciones de distancia y reflexión con el objetivo de detectar y discriminar las plantas de maíz, malas hierbas y la superficie del suelo. Para tal fin se instaló un sensor LiDAR en un trípode que apuntaba a la zona entre las líneas de cultivo de maíz, con su eje horizontal y el campo de visión apuntando verticalmente hacia el suelo, escaneando un plano vertical perpendicular a dichas líneas de cultivo. Inmediatamente después de la adquisición de los datos LiDAR (distancias y mediciones de reflexión), se estimaron las alturas reales de las plantas utilizando una metodología apropiada. A continuación, se tomaron imágenes digitales con una cámara RGB de cada zona muestreada con un sistema de referencia i.e. un marco físico de referencia graduado para la medición de los perfiles de la vegetación. Los datos mostraron una alta correlación entre la altura medida por el LiDAR y las alturas reales de las plantas (R2 = 0,75). A través de una regresión logística binaria tomando en consideración la dicotomía presencia/ausencia de malas hierbas y las lecturas del sensor (altura del LiDAR y valores de reflexión) se validó la precisión del sistema. Esto permitió discriminar la vegetación del suelo con una precisión de hasta el 95%. Además, mediante un análisis de discriminación canónica se discriminó eficazmente entre el suelo y la vegetación y, en menor medida, entre los cultivos y las malas hierbas. La metodología planteada surge como un buen sistema para la detección de malas hierbas, la cual, en combinación con otros principios, como las tecnologías basadas en la visión, podría mejorar la eficiencia y la precisión en el control de malas hierbas mediante la pulverización variable según la dosis a aplicar de forma específica. En vista de los prometedores resultados obtenidos en la reconstrucción geométrica en 2D, en un segundo estudio, se acopló un sensor LiDAR a bordo de una plataforma móvil equipada con un receptor RTK-GNSS para el escaneo 2D de vides y la fusión automática de nubes de puntos para obtener un modelo tridimensional. Se evaluó su precisión y rendimiento para la caracterización de los cultivos de viñedos mediante mediciones de distancia, con el objetivo de obtener una reconstrucción en 3D. El sistema LiDAR se componía del propio sensor, un sistema gimbal que conectaba el dispositivo a la estructura y un GPS-RTK para registrar la posición de los datos del sensor. El sensor LiDAR, orientado de forma lateral, estaba instalado a bordo de un vehículo eléctrico de forma que se escanearon planos perpendiculares a la dirección de desplazamiento. Las medidas de distancia entre el LiDAR y los viñedos mostraban una alta resolución espacial, proporcionando nubes de puntos 3D de alta densidad. La nube de puntos 3D se obtuvo conteniendo todos los puntos donde el láser impactó. La fusión de los impactos del LiDAR y las posiciones de cada uno de ellos asociados al dispositivo RTK-GPS permitieron la reconstrucción de la estructura de las vides en 3D. Aunque las nubes de puntos se filtraron adecuadamente, descartando los puntos fuera del área de estudio, el volumen de las ramas no podía ser calculado directamente, ya que se debía convertir primero en un clúster sólido 3D el cual encierra un volumen calculable. Para obtener la superficie del objeto tridimensional representado por el cultivo, y por tanto, poder calcular el volumen encerrado por esta superficie, se generó un sólido (según el algoritmo alfa shape) apropiado como un contorno que envuelve los puntos exteriores de la nube de puntos. Las nubes 3D se obtuvieron durante el invierno, cuando sólo había ramas totalmente defoliadas, lo cual permitió extraer la información relacionada con la altura y el volumen de las ramas. Estos modelos podrían utilizarse en un futuro para la poda automática o relacionar este parámetro para evaluar el rendimiento en cada posición de forma localizada. A continuación, el mapa tridimensional se correlacionó con la verdad terreno, que se determinó posteriormente de forma manual, calculando el peso seco (biomasa seca) de los restos de poda. El número de escaneos realizados por el sistema LiDAR se relacionó con las mediciones reales de biomasa (verdad terreno) y respecto a cada uno de los distintos sistemas de manejo del cultivo estudiados (atendiendo a los diferentes tratamientos químicos y de la labores agrícolas correspondientes según cada sistema analizado). En lo que respecta a la relación entre la biomasa seca y el volumen calculado por el sistema LiDAR se alcanzó un buen grado de acuerdo. Sin embargo, el análisis de los sistemas de manejo al ser calculados de forma individual mostró una baja significancia. El modelo se mostró estable y los resultados mostraron grandes correlaciones con los valores reales de biomasa y volumen con R2 = 0,75 y al comparar los escaneos LiDAR con el peso, el R2 subió hasta 0,85. Los valores obtenidos mostraron que esta técnica LiDAR también sería válida para la reconstrucción de este tipo de cultivo con grandes ventajas sobre otros tipos de sensores sin contacto, puesto que ofrecen una alta resolución y altas tasas de muestreo. Esto significó que incluso las ramas más finas se detectaron correctamente, lo que demuestra la precisión del sistema que funciona en contextos más difíciles como en este caso con el cultivo totalmente defoliado. En el mismo campo experimental, se implementó otra técnica de medición no destructiva para evaluar las principales características geométricas de la vid mediante detección cercana. En este experimento se utilizó una plataforma móvil adaptable para la adquisición de información geométrica para la evaluación no destructiva del volumen de las ramas (peso de poda) y el rendimiento de la uva en viñedos. La predicción del rendimiento del viñedo proporciona información útil sobre el rendimiento previsto para el viticultor, guiando las decisiones estratégicas para lograr una cantidad y eficiencia óptimas, apoyando al agricultor en la planificación. Se diseñó un sistema de adquisición mediante un sensor Kinect v2 instalado en un vehículo eléctrico capaz de producir nubes 3D con gran precisión reconstruyendo filas de viñedo, respecto a lotes de hileras, cultivadas según seis sistemas de manejo diferentes. Los modelos generados demostraron una fuerte consistencia entre las imágenes 3D y las estructuras de la vid a partir de los parámetros físicos reales (verdad terreno) cuando se calcularon los valores medios. Las correlaciones del volumen de las ramas (sarmientos) producidas por Kinect con el peso de poda (biomasa seca) mostraron altos coeficientes de determinación (R2=0,80). En el estudio de las correlaciones de rendimiento del viñedo, se encontró que el volumen medido tenía una fuerte correlación (R2=0,87). Sin embargo, debido a la incapacidad de la mayoría de las cámaras de profundidad para reconstruir correctamente pequeños detalles, los resultados para cada sistema de manejo cuando se calcularon por separado no fueron en muchos de ellos consistentes mostrando bajas correlaciones. Sin embargo, este sistema basado en el sensor Kinect v2 tiene un enorme potencial como sistema de reconstrucción 3D en aplicaciones agrícolas, especialmente por su alta velocidad de adquisición, gran robustez y bajo precio en comparación con otros sensores. Por último, respecto a la caracterización de la vegetación de forma remota o terrestre (i.e. la geometría de los cultivos), se llevó a cabo un experimento con tres sensores ópticos de forma independiente en un viñedo para comprobar la viabilidad económica de la aplicación de fertilizantes de forma localizada generando diferentes mapas de aplicación. Se comparó la capacidad de vehículos aéreos no tripulados (UAVs) y sistemas de detección terrestre utilizando cámaras de profundidad y sistemas LiDAR, respectivamente, a fin de obtener los mapas del volumen de los viñedos necesarios para la aplicación específica y localizada de fertilizantes. Se obtuvieron imágenes aéreas utilizando un dron equipado con una cámara RGB de alta resolución, reconstruyendo un modelo digital de la superficie mediante técnicas de fotogrametría. La reconstrucción de los cultivos según detección terrestre se realizó utilizando mediciones basadas en el sensor LiDAR tomadas con un receptor RTK-GNSS a lo largo de las líneas de cultivo. Además, se utilizó un sensor Kinect v2 como cámara de profundidad. Todos los sistemas se testaron en un campo experimental, bajo condiciones reales a plena luz del día. Cada técnica proporcionó una nube de puntos en 3D a partir de la cual se calculó el volumen del cultivo. Los resultados mostraron que los valores de volumen eran siempre consistentes y similares entre los sistemas estudiados. Las técnicas de detección terrestre proporcionaron los mejores detalles respecto a la geometría de las vides. Sin embargo, el costo de adquisición fue siempre mayor que el de las imágenes aéreas. En cuanto a la aplicación de fertilizantes, cabe señalar que los cambios en la forma y el tamaño de las plantas obtenidas en el viñedo indican que sería necesario ajustar continuamente la dosis aplicada para optimizar la aplicación realizada. Al pulverizar de forma específica y localizada basada en los mapas creados, la dosis se reducía hasta el 80% respecto a la dosis total utilizada con una aplicación convencional. Un análisis detallado de los ahorros respecto a cada uno de los sistemas analizados indicó ciertas diferencias entre ellos, resaltando las características del sistema UAV equipado con una cámara RGB. El uso de técnicas de reconstrucción mediante imágenes aéreas dio como resultado retornos netos positivos, mientras que las técnicas terrestres necesitaban de tiempos de adquisición más rápidos para que fueran rentables. En cuanto a la eficacia, no se encontraron diferencias significativas entre las aplicaciones basadas en los mapas reconstruidos tridimensionalmente. Esta importante reducción de la aplicación de fertilizantes podría ir seguida de una reducción equivalente de los productos fitosanitarios (por ejemplo, fungicidas). Por tanto, el uso las tecnologías ópticas de caracterización tridimensional estudiadas ha demostrado ser rentable en la etapa actual de desarrollo, reduciendo al mismo tiempo los insumos y el impacto medioambiental de las tareas agrícolas. ----------ABSTRACT---------- The global population is expected to rise from 7.6 billion to 10.5 billion people in 50 years, while arable land per capita will decrease by 25% (Britt et al., 2018). The World Summit on Food Security declared that in 2050 “Income growth in low and middle income countries would hasten a dietary transition towards higher consumption of meat, fruits and vegetables, relative to that of cereals, requiring commensurate shifts in output and adding pressure on natural resources” (Calicioglu et al., 2019). In this regard, due to the widespread availability of Precision Agriculture (PA) technologies, sensors and actuators in agricultural machinery have been incorporated to help farmers and scientists monitor and execute agricultural practices in order to overcome the prospective challenges to feed the world in an effective and sustainable manner. Furthermore, PA, whose growth is reinforced by extraordinary technology advances, has merged the physical, digital and biological worlds. The 4th industrial revolution has also its reflect on proximal sensing due to technological innovations, with more projection in PA due to the availability of new image acquisition tools and the rise in processing capacity of computer devices for their study. On this basis, this Doctoral Thesis has focused on analysing different optical sensors for crop reconstruction since crop 3D modeling allows site-specific management at different crop stages. On the earliest stage 2-Dimensional approach was carried out for crop discrimination in a maize field infested with various weeds. The evaluation of the accuracy and performance of a light detection and ranging (LiDAR) sensor for vegetation using distance and reflection measurements aiming to detect and discriminate maize plants and weeds from soil surface was done. A terrestrial LiDAR sensor was mounted on a tripod pointing to the inter-row area, with its horizontal axis and the field of view pointing vertically downwards to the ground, scanning a vertical plane with the potential presence of vegetation. Immediately after the LiDAR data acquisition (distances and reflection measurements) actual heights of plants were estimated using an appropriate methodology. For that purpose, digital images were taken of each sampled area. Data showed a high correlation between LiDAR measured height and actual plant heights (R2 = 0.75). Binary logistic regression between weed presence/absence and the sensor readings (LiDAR height and reflection values) was used to validate the accuracy of the sensor. This permitted the discrimination of vegetation from the ground with an accuracy of up to 95%. In addition, a Canonical Discrimination Analysis (CDA) was able to discriminate mostly between soil and vegetation and, to a far lesser extent, between crop and weeds. The studied methodology arises as a good system for weed detection, which in combination with other principles, such as vision-based technologies, could improve the efficiency and accuracy of herbicide spraying. In view of the promising results obtained in terms of 2D geometry, in a second study, a LiDAR sensor was installed on-board. It was affixed to a mobile platform equipped with an RTK-GNSS receiver for crop 2D scanning in a vineyard. Its accuracy and performance were assessed for vineyard crop characterization using distance measurements, aiming to obtain a 3D reconstruction. The LiDAR system consisted of a 2D time-of-flight sensor, a gimbal connecting the device to the structure, and an RTK-GPS to record the sensor data position. The LiDAR sensor was facing sideways installed on a mobile electric platform. It scanned planes perpendicularly to the travel direction. Measurements of distance between the LiDAR and the vineyards had a high spatial resolution, providing high-density 3D point clouds. The 3D point cloud was obtained since it contains all the points where the laser beam impacted. The fusion of LiDAR impacts and the positions of each associated to the RTK-GPS allowed the creation of the 3D architecture. Although point clouds were already filtered, i.e., discarding points out of the study area, the branch volume cannot be directly calculated, since it turns into a 3D solid cluster that encloses a volume. To obtain the 3D object surface, and therefore to be able to calculate the volume enclosed by this surface, a suitable alpha shape was generated as an outline that envelops the outer points of the point cloud. The 3D scenes were obtained during the winter season when only branches were present and fully defoliated. The models were used to extract information related to height and branch volume. These models might be used for automatic pruning or relating this parameter to evaluate the future yield at each location. The 3D map was correlated with ground truth, which was manually determined, pruning the remaining weight. The number of scans by LiDAR influenced the relationship with the actual biomass measurements and had a significant effect on the treatments. A positive linear fit was obtained for the comparison between actual dry biomass and LiDAR volume. The influence of individual treatments showed a low significance. The results proved strong correlations with actual values of biomass and volume with R2 = 0.75, and when comparing LiDAR scans with weight, the R2 rose up to 0.85. The obtained values show that this LiDAR technique is also valid for branch reconstruction with great advantages over other types of non-contact ranging sensors, in terms of high sampling resolution and rates. Even narrow branches were properly detected, which demonstrates the accuracy of the system when working on difficult scenarios such as defoliated crops. In the same experimental field, a non-destructive measuring technique was applied to test major vine geometric traits on measurements collected by a contactless sensor. Three dimensional optical sensors have evolved over the past decade, and these advancements may be useful in improving phenomics technologies for other crops, such as woody perennials. RGB-D cameras namely Microsoft Kinect have a significant influence on recent computer vision and robotics research. In this experiment an adaptable mobile platform was used for the acquisition of depth images for the non-destructive assessment of branch volume (pruning weight) and related to grape yield in vineyards crops. Vineyard yield prediction provides useful insights about the anticipated yield to the winegrower, guiding strategic decisions to accomplish optimum quantity and efficiency, and supporting the winegrower with decision-making. A Kinect v2 system on-board to an on-ground electric vehicle was capable of producing precise 3D point clouds of vine rows under six different management cropping systems. The generated models demonstrated strong consistency between 3D images and vine structures from the actual physical parameters when average values were calculated. Correlations of Kinect branch volume with pruning weight (dry biomass) resulted in high coefficients of determination (R2=0,80). In the study of vineyard yield correlations, the measured volume was found to have a good power law relationship (R2=0,87). However due to low capability of most depth cameras to properly build 3-D shapes of small details the results for each treatment when calculated separately were not consistent. Nonetheless, Kinect v2 has a tremendous potential as a 3D sensor in agricultural applications for proximal sensing operations, benefiting from its high frame rate, low price in comparison with other depth cameras and high robustness. Finally, a fourth study was conducted to test aerial and on-ground vegetation characterization, i.e., crop geometry. An experiment was conducted using three different measurement systems based on optical sensors in a vineyard field in order to test the economic feasibility of applying fertilizers site specifically based on different mapping systems. The capacity of UAV missions and on-ground systems was compared using depth cameras and LiDAR systems in order to provide the necessary vineyard volume maps for specific applications like fertilization. Aerial imagery was obtained using a UAV equipped with a high-resolution RGB camera, and a digital surface model was reconstructed using photogrammetry procedures. On-ground crop reconstruction was performed using LiDAR-based measurements taken with an RTK-GNSS along the crop rows. Furthermore, a Kinect v2 sensor was also used as a low-cost depth camera. All systems were tested in a commercial field, under sunlight conditions. Every technique provided a 3D dense point cloud from which volume was calculated. The results showed that volume values were always consistent and similar between the studied systems. The on-ground techniques provided the best details of the plants. However, the cost of acquisition was always higher than that of aerial imagery. Concerning the fertiliser application, it should be noted that, the changes in shape and size of plants obtained within the vineyard indicate that continuous adjustment of the applied dose would be required to optimize the performed application. When using site-specific spraying based on the created maps, the dose was reduced by up to 80% of the total dosage used with a conventional application. A detailed analysis of savings indicates differences between the systems. The use of aerial imagery techniques resulted in positive net returns, whereas the on-ground technologies needed a faster time of acquisition so that they are profitable. Regarding efficacy, no significant differences between applications based on the constructed maps were found. This important reduction in fertilizer application could be followed by an equivalent reduction in plant protection products (e.g., fungicides). Thus, the use of some 3D characterization technologies has shown to be profitable at the current stage of development while also reducing the inputs and the environmental impact of agricultural tasks.