Resumen
Desde los primeros días de la Realidad Virtual (VR), en la segunda mitad del siglo XX, el audio se ha incluido en casi todas
las definiciones de lo que es la VR y de lo que deben ofrecer estas tecnologías. Sin embargo, la mayor parte del esfuerzo
en investigación y desarrollo se ha centrado en la modalidad visual. Esta situación está cambiando de manera que la
interacción sonora está cada vez más presente en la VR. Además, el audio espacial o sonido 3D se ha convertido en las
últimas décadas en un tema de investigación de gran relevancia con aplicaciones en distintos campos, no sólo en la VR y la
Realidad Aumentada (AR), sino también en el estudio de la cognición espacial o la psicoacustica. Los sistemas de audio
espacial tratan de recrear con precisión las sensaciones acústicas que un oyente percibiría dentro de una sala determinada
o en un entorno con determinadas propiedades acústicas. En este contexto, la reproducción binaural mediante auriculares
resulta especialmente interesante. El proyecto SONEM3D pretende aunar las tecnologías de sonido espacial, aprendizaje
automático y modelización virtual de recintos con el objetivo general de hacer avanzar la reproducción de sonido 3D
binaural, así como el uso y comprensión de los nuevos medios virtuales (VR y AR) incorporando la acústica virtual
inmersiva. En concreto, se trabajará en aplicar métodos de aprendizaje profundo para la individualización de la HRTF,
logrando así proporcionar experiencias acústicas inmersivas realistas y naturales en la reproducción de sonido binaural
para entornos virtuales. Se abordará tanto la problemática de la parametrización de la HRTF como de las características
antropométricas del individuo. Por otro lado, se evaluará perceptualmente el impacto de la individualización binaural,
comparando auralizaciones creadas con HRTF individualizadas y las generadas con HRTF medidas acústicamente de
forma directa sobre personas reales. Se pondrá especial atención a determinar las características más relevantes
perceptualmente para la plausibilidad de la experiencia. Finalmente, se recrearán y modelizarán diferentes edificios
emblemáticos valencianos y se generarán experiencias virtuales de representaciones teatrales en los edificios patrimoniales
recreados, con distintas zonas de escucha en la auralización que permitan el movimiento entre ellas sin cortes e
incorporando el uso de HRTFs individualizadas.
