Subtitulado automático multilingüe para transmisión en directo

2022

AGENCIA ESTATAL DE INVESTIGACION

INV. COMPETITIVA PROYECTOS

Sanchis Navarro José Alberto

AutoLive es nuestra propuesta de prueba de concepto (PoC) para aumentar el TRL de nuestro software "TT-Streaming: RPC API para transcripción y traducción de flujos de audio en vivo" que proporciona tecnología de reconocimiento automático del habla (RAH) y traducción automática (TA) en tiempo real aplicada a vídeo en streaming y así alcanzar un TRL 8-9. Este software registrado en la UPV es uno de los resultados del proyecto de investigación titulado "Multisub: Subtitulado multilingüe de aulas y plenos (2019-2021) financiado por el Ministerio de Economía de España bajo el programa Retos Investigación: Proyectos I+D+i. TT-Streaming actualmente proporciona tecnología del estado del arte para transcripción y traducción multilingüe, automática y en tiempo real de contenido audiovisual, basada en técnicas de aprendizaje profundo y procesamiento de lenguaje natural. Esta tecnología mejora la accesibilidad de contenidos audiovisuales, reduce las barreras del idioma, aumenta la productividad de los profesionales de la transcripción, traducción y subtitulado, y permite la creación de aplicaciones secundarias como indexación, catalogación, clasificación, resumen y recomendación. Esta propuesta de PoC tiene como objetivo actualizar la arquitectura de software detrás de TT Streaming para agilizar la adaptación, personalización e integración de nuestra tecnología de RAH y TA en los flujos de trabajo de los clientes objetivo: empresas audiovisuales, universidades, videoconferencias (p. ej., Zoom), parlamentos regionales y nacionales, ayuntamientos de pueblos y ciudades, etc. El despliegue de TT-Streaming se realizará en la nube como un servicio software o como una instalación local, según las necesidades del cliente. Por esto razón, es vital para una explotación comercial eficiente evolucionar la arquitectura del software actual. que soporta nuestra tecnología RAH y TA. De esta manera, pretendemos reducir los tiempos de despliegue de nuestro software en el cliente y poder hacerlo a gran escala con flexibilidad. Finalmente, para validar nuestra propuesta de PoC, contamos con el apoyo de un caso de estudio potente como es la "Fundación de la Comunitat Valenciana para la Promoción Estratégica, el Desarrollo y la Innovación Urbana, LAS NAVES" promocionado por el Ayuntamiento de València, que está interesado en ofrecer subtítulos multilingües en tiempo real en español, catalán e inglés para sus conferencias y reuniones en directo.