APRENDIZAJE AUTOMATICO APLICADO A INDIVIDUALIZACION DE SONIDO ESPACIAL INMERSIVO Y SINTESIS DE ESPACIOS VIRTUALES 3D

2022

CONSELLERIA DE INNOVACION, UNIVERSIDADES, CIENCIA Y SOCIEDAD DIGITAL

INV. COMPETITIVA PROYECTOS

López Monfort José Javier

Desde los primeros días de la Realidad Virtual (VR), en la segunda mitad del siglo XX, el audio se ha incluido en casi todas las definiciones de lo que es la VR y de lo que deben ofrecer estas tecnologías. Sin embargo, la mayor parte del esfuerzo en investigación y desarrollo se ha centrado en la modalidad visual. Esta situación está cambiando de manera que la interacción sonora está cada vez más presente en la VR. Además, el audio espacial o sonido 3D se ha convertido en las últimas décadas en un tema de investigación de gran relevancia con aplicaciones en distintos campos, no sólo en la VR y la Realidad Aumentada (AR), sino también en el estudio de la cognición espacial o la psicoacustica. Los sistemas de audio espacial tratan de recrear con precisión las sensaciones acústicas que un oyente percibiría dentro de una sala determinada o en un entorno con determinadas propiedades acústicas. En este contexto, la reproducción binaural mediante auriculares resulta especialmente interesante. El proyecto SONEM3D pretende aunar las tecnologías de sonido espacial, aprendizaje automático y modelización virtual de recintos con el objetivo general de hacer avanzar la reproducción de sonido 3D binaural, así como el uso y comprensión de los nuevos medios virtuales (VR y AR) incorporando la acústica virtual inmersiva. En concreto, se trabajará en aplicar métodos de aprendizaje profundo para la individualización de la HRTF, logrando así proporcionar experiencias acústicas inmersivas realistas y naturales en la reproducción de sonido binaural para entornos virtuales. Se abordará tanto la problemática de la parametrización de la HRTF como de las características antropométricas del individuo. Por otro lado, se evaluará perceptualmente el impacto de la individualización binaural, comparando auralizaciones creadas con HRTF individualizadas y las generadas con HRTF medidas acústicamente de forma directa sobre personas reales. Se pondrá especial atención a determinar las características más relevantes perceptualmente para la plausibilidad de la experiencia. Finalmente, se recrearán y modelizarán diferentes edificios emblemáticos valencianos y se generarán experiencias virtuales de representaciones teatrales en los edificios patrimoniales recreados, con distintas zonas de escucha en la auralización que permitan el movimiento entre ellas sin cortes e incorporando el uso de HRTFs individualizadas.