Tesis:
Multimodal interaction-aware motion prediction in urban environments
- Autor: TRENTIN, Vinicius
- Título: Multimodal interaction-aware motion prediction in urban environments
- Fecha: 2024
- Materia:
- Escuela: E.T.S. DE INGENIEROS INDUSTRIALES
- Departamentos: SIN DEPARTAMENTO DEFINIDO
- Acceso electrónico: https://oa.upm.es/80749/
- Director/a 1º: VILLAGRÁ SERRANO, Jorge
- Director/a 2º: ARTUÑEDO GARCÍA, Antonio Javier
- Resumen: Autonomous vehicles represent a transformative technological advancement with profound implications for our future mobility and quality of life. These systems promise to significantly enhance safety by eliminating human errors on the road, improve traffic flow, and reduce environmental impact through optimized driving patterns. Moreover, automated driving allows passengers to use travel time more productively, resulting in less stressful and more enjoyable commutes. The development of autonomous driving has the potential to reshape the way we move and profoundly impact our daily lives.
However, ensuring safety while navigating through highly interactive and complex driving scenarios remains a critical challenge. Motion prediction is a fundamental challenge in the realm of autonomous vehicles, encapsulating the complex task of foreseeing how other vehicles in the environment will behave. In the pursuit of safe and efficient self-driving capabilities, predicting the future movements of the surrounding vehicles is paramount. This predictive foresight enables autonomous systems to make informed decisions, plan routes, and navigate through dynamic and often unpredictable real-world scenarios.
In this thesis, a method to infer the intentions, based on a Dynamic Bayesian Network, and predict the motion of the nearby vehicles, using Markov Chains, at three main environments (highways, roundabouts and intersections) is proposed. This approach considers all possible corridors of the surrounding traffic participants and takes into account their interactions to infer intentions probabilities, as well as the probability of being in each of the possible navigable corridors. To achieve this, the Dynamic Bayesian Network is used to model the relationships between the observed states and the unobserved intentions of the nearby agents. The Markov Chain model, obtained from a kinematic model, is used to predict the future motions of the vehicles, taking into account their current state, their inferred intentions, and the uncertainty associated with the prediction. The resulting multimodal motion predictions are sent to the ego vehicle to navigate through the scene.
To tackle limitations, the framework is extended to adapt to different driving contexts via a hybrid approach that combines model and learning-based methods. To handle occlusions caused by sensor range or obstacles, an extension considers partial perception sensor data in order to provide the ego vehicle with more reliable predictions in situations where the field-of-view is obstructed. In order to predict the future motion of the surrounding vehicles in a timely manner, a collection of Graphics Processing Unit acceleration methods is designed and implemented to bring down the computational cost of the multimodal probabilistic interaction-aware motion prediction algorithm.
The framework is evaluated in three driving scenarios: intersections, roundabouts and highways. For each of these cases, highly interactive situations were extracted from publicly available datasets and evaluated extensively. Furthermore, it underwent assessment within a closed-loop simulation environment alongside a state-of-the-art motion planner. The results demonstrated its capability to provide precise predictions to the motion planner, allowing the latter to avoid overly cautious behaviors that incur sudden breaking and lower average velocities. Such actions have a notable impact on travel time and overall comfort for the vehicle occupants.
RESUMEN
Los vehículos autónomos representan un avance tecnológico transformador con profundas implicaciones para nuestra movilidad futura y calidad de vida. Estos sistemas prometen mejorar significativamente la seguridad al eliminar errores humanos en la carretera, mejorar el flujo del tráfico y reducir el impacto ambiental a través de patrones de conducción optimizados. Además, la conducción automatizada permite a los pasajeros utilizar el tiempo de viaje de manera más productiva, lo que resulta en desplazamientos menos estresantes y más agradables. El continuo desarrollo de la conducción autónoma tiene el potencial de remodelar la forma en que nos desplazamos e impactar nuestra vida cotidiana.
No obstante, garantizar la seguridad mientras navegan por escenarios de conducción altamente interactivos y complejos sigue siendo un desafío crítico. La predicción del movimiento es un desafío fundamental en el ámbito de los vehículos autónomos, ya que encapsula la tarea compleja de prever cómo se comportarán otros vehículos en el entorno. En la búsqueda de capacidades de conducción autónoma seguras y eficientes, predecir los movimientos futuros de los vehículos circundantes es primordial. Esta previsión predictiva permite a los sistemas autónomos tomar decisiones informadas, planificar rutas y navegar a través de escenarios del mundo real, dinámicos y a menudo impredecibles.
En esta tesis se propone un método para inferir las intenciones, basado en una Red Dinámica Bayesiana, y predecir el movimiento de los vehículos cercanos, utilizando Cadenas de Markov, en tres entornos principales: autopistas, rotondas e intersecciones. Este enfoque considera todos los posibles corredores de los agentes de tráfico circundante y tiene en cuenta sus interacciones para inferir probabilidades de intenciones, así como la probabilidad de encontrarse en cada uno de los corredores navegables posibles. Para lograr esto, se utiliza la Red Dinámica Bayesiana para modelar las relaciones entre los estados observados y las intenciones no observadas de los agentes cercanos. El modelo de Cadenas de Markov, obtenido a partir de un modelo cinemático, se utiliza para predecir los movimientos futuros de los vehículos, teniendo en cuenta su estado actual, sus intenciones inferidas y la incertidumbre asociada con la predicción. Las predicciones de movimiento multimodal resultantes se envían al vehículo ego para navegar a través de la escena.
Para abordar las limitaciones, se amplía la arquitectura para adaptarse a diferentes contextos de conducción a través de un enfoque híbrido que combina métodos basados en modelos y en aprendizaje automático. Para manejar las oclusiones causadas por el alcance del sensor u obstáculos, una extensión considera datos parciales del sensor de percepción con el fin de proporcionar al vehículo ego predicciones más fiables en situaciones en las que el campo de visión está obstruido. Con el fin de predecir el movimiento futuro de los vehículos circundantes se diseña e implementa una colección de métodos de aceleración utilizando la Unidad de Procesamiento Gráfico para reducir el coste computacional del algoritmo de predicción de movimiento probabilístico, multimodal y consciente de la interacción.
El sistema se evalúa en tres escenarios de conducción: intersecciones, rotondas y autopistas. Para cada uno de estos casos, se extrajeron situaciones altamente interactivas de conjuntos de datos públicamente disponibles y se evaluaron extensivamente. Además, se sometió a una evaluación en un entorno de simulación en bucle cerrado junto a un planificador de movimientos del estado del arte. Los resultados demostraron su capacidad para proporcionar predicciones precisas al planificador de movimientos, lo que le permite evitar comportamientos excesivamente cautelosos que resultan en frenadas bruscas y velocidades promedio más bajas. Tales acciones tienen un impacto notable en el tiempo de viaje y la comodidad general de los ocupantes del vehículo.