CARACTERIZACIÓN DE ENTORNOS ACÚSTICOS DINÁMICOS MEDIANTE MACHINE LEARNING PARA REPRODUCCIÓN DE SONIDO: EXPLORACIÓN METODOLÓGICA

2022

AGENCIA ESTATAL DE INVESTIGACION

INV. COMPETITIVA PROYECTOS

Piñero Sipán María Gemma

Las costumbres y expectativas de los consumidores con respecto a los servicios audiovisuales (A&V) están cambiando rápidamente. La experiencia general del usuario de los medios de comunicación y el entretenimiento se está ampliando en cuanto a los tipos de servicios, el entorno en el que se consumen y los dispositivos utilizados para acceder a ellos. Sin embargo, la pandemia del COVID-19 ha cambiado bruscamente nuestros hábitos y la mayoría de los contenidos audiovisuales se consumen en los hogares en lugar de en las salas de cine. Además, las experiencias de entretenimiento innovadoras, como los conciertos de música en streaming, se han unido a los servicios tradicionales de streaming de vídeo (películas y contenidos generados por el usuario) y de juegos. En este punto, una buena experiencia de sonido es esencial para una experiencia inmersiva. Por ello, es necesario desarrollar sistemas inteligentes de reproducción de sonido que puedan ser reproducidos de forma natural, sin necesidad de auriculares. El objetivo principal del proyecto DYNAMIC es investigar sobre aplicaciones de control del espacio sonoro en entornos reales y dinámicos utilizando herramientas de inferencia y clasificación basadas en novedosas técnicas de aprendizaje automático y profundo, buscando el máximo rendimiento, eficiencia energética y viabilidad. Para lograr este objetivo, el proyecto parte de la amplia experiencia de los equipos de investigación implicados en el campo del procesamiento de señales de audio y el diseño de implementaciones de hardware. Sin embargo, las redes neuronales y el aprendizaje automático plantean nuevos retos más allá de la mera aplicación de las técnicas al problema original. Gracias al enfoque multidisciplinar procedente de los campos de la acústica, la psicoacústica, el aprendizaje automático, el procesamiento de señales, la microelectrónica y la informática heterogénea propuesto en el proyecto coordinado DYNAMIC, la reproducción de sonidos en escenarios dinámicos de interior será - Reproducida con precisión en cualquier lugar y en cualquier momento, siendo capaz de seguir las variaciones del sistema. - Ampliada para incluir el uso de dispositivos de bajo coste y wearables. - Computacionalmente eficiente, adaptando su coste a los requisitos del sistema de procesamiento. - Mejorada en su calidad de experiencia, validados por la percepción subjetiva del usuario. El proyecto coordinado DYNAMIC incluye dos subproyectos, DYNA-SOUND y DYNA-TECH, desarrollados respectivamente en la Universitat Politècnica de Valencia (UPV) y en la Universidad Carlos III de Madrid (UC3M). El proyecto DYNA-SOUND se beneficiará de las habilidades del equipo DYNA-TECH para desarrollar sistemas de reproducción de sonido viables bajo la restricción de la operación en tiempo real, mientras que el proyecto DYNA-TECH se beneficiará de las habilidades del equipo DYNA-SOUND para centrarse en la aplicación y en la calidad de sonido percibida por los usuarios finales. Ambos subproyectos trabajarán como un proyecto conjunto (DYNAMIC) que tendrá como objetivo desarrollar diseños ad-hoc que superen conjuntamente diversos tipos de restricciones: procesamiento en tiempo real, percepción acústica, consumo de energía, problemas de sincronización y cambios en el entorno acústico.