Autor: MARTÍN PÉREZ, Alberto
Título: Contributions to Intraoperative Hyperspectral Imaging for Neurosurgery with Structured Illumination
Fecha: 2026
Materia: ---
Escuela: E.T.S.I. Y SISTEMAS DE TELECOMUNICACIÓN
Departamento: INGENIERIA TELEMATICA Y ELECTRONICA
Acceso electrónico: https://oa.upm.es/95796/
Director/a(s):
- Director/a: JUÁREZ MARTÍNEZ, Eduardo
- Director/a: SANZ ÁLVARO, César
Resumen: The delineation of brain tumours during neurosurgical procedures remains a fundamental challenge due to the complex morphology of the brain and the dynamic effects of physiological processes such as the "brain shift" phenomenon. Conventional intraoperative tools, including magnetic resonance imaging (MRI) and neuronavigation systems, are often inaccurate once the brain deforms following craniotomy. Consequently, the capacity to identify tumour margins in real-time is limited. Hyperspectral imaging (HSI) has emerged as a powerful optical technique capable of distinguishing between healthy and malignant tissues based on their spectral reflectance properties. However, the application of HSI in neurosurgery is constrained by the acquisition speed and the amount of spatial and spectral information available from current sensors. This dissertation investigates the potential of HSI for real-time delineation of in vivo human brain tumours and enhancement of spectral differentiation of tissues using structured illumination (SI). Two different hyperspectral (HS) cameras, one based on the pushbroom technique and another using snapshot technology, were integrated into an intraoperative acquisition system developed for this research, named the SLIMBRAIN prototype. The pushbroom camera provided high-resolution spatial and spectral data across the visible (VIS) range (400–1,000 nm) with 369 wavelengths but required a scanning process of approximately 100 seconds per image, which was not suitable for real-time operation. In contrast, the snapshot camera captured 25 wavelengths in the near-infrared (NIR) range (660–950 nm) in 100 milliseconds, enabling real-time acquisition, although with reduced spectral and spatial resolution. The SLIMBRAIN prototype allowed simultaneous acquisition with both sensors under homogeneous illumination (HI), facilitating a systematic comparison of both cameras for tumour delineation. The SLIMBRAIN prototype enabled the acquisition of the SLIMBRAIN database, a novel multimodal image database with images and videos from 193 in vivo human brain patients, including data from HS cameras, depth, and RGB sensors. Moreover, the SLIMBRAIN database allowed a detailed comparison of both HS cameras using machine learning (ML)- based classification algorithms. The results demonstrated that, despite its lower information content, the snapshot camera provided spectral behaviour comparable to the line scan system within the shared spectral range of 660–950 nm. Incorporation of advanced algorithms such as LIBRA significantly improved classification accuracy, sensitivity, and F1_score, outperforming conventional ML methods by up to 15%. Moreover, combining data from the SLIMBRAIN database with the well-established HELICoiD dataset confirmed the robustness of these algorithms and highlighted the importance of spectral coverage and data balance. However, all HI-based acquisitions showed limited discriminative power between similar tissues, particularly in the NIR range, where diffuse reflectance profiles of different brain tissues become nearly indistinguishable. To address these limitations, this dissertation explores the use of SI as an alternative to conventional homogeneous lighting. A novel intraoperative prototype, termed HASDI (Hyperspectral Acquisition for Spatial Frequency Domain Imaging), was designed and implemented. The system integrates an HS snapshot camera with a programmable projector capable of modulating the illumination spatially across the NIR spectrum. The findings suggest that method to calibrate diffuse reflectance with HASDI might eliminate the need for computationally expensive Monte Carlo (MC) simulations typically required in spatial frequency domain imaging (SFDI), thereby enabling faster and more practical measurement of diffuse reflectance. The HASDI prototype successfully reconstructed reference reflectance data and demonstrated that the use of specific spatial frequencies (from fx = 0.025 mm−1 to fx = 0.050 mm−1) enhances the spectral separability between different phantoms and tissue analogues by up to 50% compared to HI. Subsequently, SI-derived measurements were employed to train and evaluate ML models, revealing statistically significant improvements in classification performance. In particular, random forest (RF) and support vector machine (SVM) classifiers showed an improvement of up to 50% in sensitivity and F1_score classification metrics when using SI data with turbid agar-based phantoms. These findings indicate that SI can improve discriminative features within spectral data, providing more reliable features to ML algorithms for automated classification. Finally, this research establishes that the combination of HS snapshot imaging, SI, and ML constitutes a promising framework for real-time intraoperative delineation of brain tumours. By significantly improving both acquisition speed and classification accuracy, this approach overcomes the critical limitations of conventional HSI systems. The work concludes that SI not only enhances spectral separability but also strengthens the performance of ML algorithms, laying the groundwork for future intraoperative tools capable of guiding neurosurgeons with live, accurate and non-invasive tumour delineation in the operating theatre. RESUMEN La delimitación de tumores cerebrales durante los procedimientos neuroquirúrgicos sigue siendo un desafío fundamental debido a la compleja morfología del cerebro y a los efectos dinámicos de procesos fisiológicos como el fenómeno de "desplazamiento cerebral" (brain shift). Las herramientas intraoperatorias convencionales, como la imagen por resonancia magnética (MRI) y los sistemas de neuronavegación, suelen resultar inexactas una vez que el cerebro se deforma tras la craneotomía. En consecuencia, la capacidad para identificar los márgenes del tumor en tiempo real es limitada. La imagen hiperespectral (HSI) ha surgido como una potente técnica óptica capaz de distinguir entre tejidos sanos y malignos basándose en sus propiedades de reflectancia espectral. Sin embargo, la aplicación de HSI en neurocirugía está limitada por la velocidad de adquisición y la cantidad de información espacial y espectral disponible en los sensores actuales. Esta tesis investiga el potencial de la HSI para la delimitación en tiempo real de tumores cerebrales humanos in vivo y la mejora de la diferenciación espectral de tejidos mediante iluminación estructurada (SI). Para ello, se integran dos cámaras hiperespectrales (HS) diferentes, una basada en la técnica pushbroom y otra en tecnología snapshot, en un sistema de adquisición intraoperatorio desarrollado para esta investigación, denominado el prototipo SLIMBRAIN. La cámara pushbroom proporciona datos espaciales y espectrales de alta resolución en el rango visible (VIS) (400–1,000 nm) con 369 longitudes de onda, pero requiere un proceso de escaneo de aproximadamente 100 segundos por imagen, lo que no es adecuado para operaciones en tiempo real. Sin embargo, la cámara snapshot captura 25 longitudes de onda en el rango del infrarrojo cercano (NIR) (660–950 nm) en 100 milisegundos, permitiendo la adquisición en tiempo real, aunque con menor resolución espectral y espacial que la cámara pushbroom. El prototipo SLIMBRAIN permitió la adquisición simultánea con ambos sensores bajo iluminación homogénea (HI), facilitando una comparación sistemática de ambas cámaras para la delimitación tumoral. Con el prototipo SLIMBRAIN se ha podido crear la base de datos SLIMBRAIN, una novedosa base de datos de imágenes multimodales con imágenes y vídeos de 193 pacientes de cerebro humano in vivo, incluyendo datos de cámaras HS, sensores de profundidad y RGB. Además, la base de datos SLIMBRAIN permite una comparación detallada de ambas cámaras HS empleadas en el prototipo SLIMBRAIN utilizando algoritmos de clasificación basados en aprendizaje automático (ML). Los resultados muestran que, a pesar de su menor contenido informativo, la cámara snapshot proporcionó un comportamiento espectral comparable a la cámara pushbroom dentro del rango espectral compartido entre 660–950 nm. La incorporación de algoritmos avanzados como LIBRA mejora significativamente la precisión de clasificación, la sensibilidad y el F1_score, superando a los métodos convencionales de ML hasta en un 15%. Además, la combinación de datos de la base de datos SLIMBRAIN con el conjunto de datos bien establecido HELICoiD confirmó la robustez de estos algoritmos y destacó la importancia de la cobertura espectral y del equilibrio de datos para mejorar la clasificación de cerebros humanos in vivo. Sin embargo, todas las imágenes basadas en HI mostraron una capacidad discriminativa limitada entre tejidos similares, especialmente en el rango NIR, donde los perfiles de reflectancia difusa de los distintos tejidos cerebrales se vuelven casi indistinguibles. Para abordar estas limitaciones, esta tesis explora el uso de SI como alternativa a la iluminación homogénea convencional. Para ello se diseña e implementa un nuevo prototipo denominado HASDI (Hyperspectral Acquisition for Spatial Frequency Domain Imaging). El prototipo integra una cámara HS snapshot con un proyector programable capaz de modular la iluminación espacialmente a lo largo del espectro NIR. The findings suggest that method to calibrate diffuse reflectance with HASDI might eliminate Los resultados sugieren que el método para calibrar la reflectancia difusa con HASDI podría eliminar la necesidad de simulaciones de Monte Carlo (MC) computacionalmente costosas típicamente requeridas en la técnica de imagen en el dominio de frecuencia espacial (SFDI), permitiendo así una medición de la reflectancia difusa más rápida y práctica. Los resultados muestran que el prototipo HASDI es capaz de reconstruir con éxito datos de reflectancia de referencia y demuestra que el uso de frecuencias espaciales específicas (entre fx = 0.025 mm−1 y fx = 0.050 mm−1) mejora la separabilidad espectral entre distintos phantoms y análogos de tejidos hasta en un 50% en comparación con la HI. Posteriormente, las medidas derivadas de SI se emplean para entrenar y evaluar modelos de ML, revelando mejoras estadísticamente significativas en el rendimiento de clasificación. En particular, los clasificadores de bosques aleatorios (RF) y máquinas de vectores de soporte (SVM) mostraron una mejora de hasta un 50% en las métricas de sensibilidad y F1_score al utilizar datos SI con phantoms turbios basados en agar. Estos resultados indican que SI puede mejorar las características discriminativas dentro de los datos espectrales, proporcionando datos más fiables a los algoritmos de ML para la clasificación automática. Finalmente, esta investigación establece que la combinación de imagen HS snapshot, SI y ML constituye un marco prometedor para la delimitación intraoperatoria en tiempo real de tumores cerebrales. Al mejorar significativamente tanto la velocidad de adquisición como la precisión de clasificación, este enfoque podría superas las limitaciones críticas de los sistemas HSI convencionales. El trabajo concluye que SI no solo mejora la separabilidad espectral, sino que también refuerza el rendimiento de los algoritmos de ML, sentando las bases para futuras herramientas intraoperatorias capaces de guiar a los neurocirujanos con una delimitación tumoral en vivo, precisa y no invasiva durante la intervención quirúrgica.