MONITORIZACION ACUSTICA Y MULTIMODAL ASISTIDA POR INTELIGENCIA ARTIFICIAL: PROCESAMIENTO MULTIMODAL DEL EXTERIOR DEL VEHICULO PARA LA SEGURIDAD EN LA CONDUCCION

2022

AGENCIA ESTATAL DE INVESTIGACION

INV. COMPETITIVA PROYECTOS

López Monfort José Javier

El futuro de la conducción será plenamente automático. Sin embargo, durante esta transición, están apareciendo soluciones de ayuda a la conducción de diferentes niveles que siguen una conocida clasificación del 1 al 5. Para facilitar esta transición y seguir avanzando hacia entornos de movilidad más seguros, es necesario desarrollar o mejorar las herramientas de monitorización, alerta e interacción que permiten a los usuarios o al vehículo obtener información relevante sobre el entorno vial, ayudándolos en la tarea. La mayoría de sistemas comerciales de ayuda a la conducción utilizan la visión artificial y/o el radar de manera individual. Sin embargo, el sonido no está generalmente presente en los mismos. En este proyecto pretendemos hacer un enfoque multimodal de la ayuda a la conducción, integrando la imagen y el sonido de la parte exterior del vehículo con el propósito de complementar el otro subproyecto que se enfocará principalmente al interior del vehículo y a la interacción con el conductor. Una de las informaciones que los seres humanos tienen en consideración cuando están conduciendo, es el sonido, que aporta una información muy relevante en la mayoría de situaciones. En el proceso hacia la seguridad y la automatización ya existen investigaciones tratando de aportar soluciones en este ámbito. Una de las dificultades con las que tropiezan estos sistemas es que el audio que captan los micrófonos se forma por la superposición de múltiples fuentes y los sistemas automáticos se encuentran con el reto de separar la información relevante en presencia de otras contribuciones sonoras interferentes de incluso más nivel que la de interés. Es por ello que tener un enfoque multimodal, que mediante otras técnicas aporte información de cómo el pavimento puede estar afectando al sistema de monitorización acústica, aumentará su fiabilidad. Mediante la contribución multimodal de la visión artificial 2D y 3D se puede complementar el análisis del escenario sonoro reduciendo tanto la tasa de pérdidas como la de falsas alarmas. Además de la seguridad de la conducción, la monitorización del estado de la carretera puede aportar otros beneficios añadidos relacionados con su mantenimiento. Mientras los vehículos son conducidos por los usuarios, un sistema montado en los mismos contribuye a aportar grandes cantidades de información (big data) sobre el estado de las infraestructuras. En concreto, las futuras flotas de vehículos eléctricos de uso compartido de las smart cities pueden aprovechar estos sistemas para aportar a los ayuntamientos y otros organismos dicha información sin un coste adicional de monitorización específica. Existe un interés creciente en el concepto carreteras resilientes e inteligentes, donde la auscultación y sensorización de las mismas para un mantenimiento eficiente y ecológico con el mínimo uso de recursos adicionales (no incrementando más el CO2) es imprescindible. La aproximación de nuestro proyecto se enmarca en esta línea prioritaria. El equipo de este proyecto combina investigadores con gran experiencia en procesado de sonido (IP1) así como en tratamiento de imagen y visión artificial (IP2) que permitirán combinar ambas tecnologías siguiendo el concepto multimodal. El proyecto tiene un marcado carácter experimental, dado que se utilizarán cámaras y micrófonos en condiciones reales de conducción que permitirán trabajar con señales realistas que después proporcionen resultados transferibles a la industria.