Explora I+D+i UPV

Volver atrás Proyecto

ANNOTATE-MULTI2: Multimodal and Multisensor data-centric AI models

Centro Propio de Investigación Pattern Recognition and Human Language Technology

Compartir
Año de inicio

2025

Organismo financiador

AGENCIA ESTATAL DE INVESTIGACION

Tipo de proyecto

INV. COMPETITIVA PROYECTOS

Responsable científico

Rosso Paolo

Resumen

"El proyecto desarrolla modelos multimodales de inteligencia artificial centrados en el ser humano (IACH) para la detección de sexismo, desinformación y trastornos mentales, ampliando el análisis desde texto a memes y vídeos en español e inglés. La propuesta integra datos sensoriales obtenidos durante la anotación ¿EEG, ECG, variabilidad del ritmo cardiaco, respiración y seguimiento de mirada¿ con el fin de complementar la etiqueta consciente con la respuesta emocional inconsciente de las anotadoras. Los datos fisiológicos se incorporan mediante un enfoque de Learning With Disagreement, que permite capturar la diversidad de reacciones humanas ante los mismos estímulos multimodales. Este enfoque posibilita estudiar marcadores asociados a estados emocionales, estrés, ansiedad o señales tempranas de depresión, y aprovecharlos para entrenar modelos de detección más robustos y sensibles al contexto humano. La combinación de anotación multimodal, señales fisiológicas y métodos avanzados de IA establece un nuevo paradigma de modelos centrados en la persona, orientado a mejorar la comprensión cognitiva y emocional en tareas críticas como la moderación de contenidos y la salud mental."