Interactive Keras Captioning es una librería que permite la construcción de modelos neuronales para la descripción automática de imágenes y vídeos. Además, soporta el protocolo de corrección interactiva [1], que intenta minimizar el esfuerzo humano necesario para corregir las salidas del sistema automático.
Con esta librería se han realizado los experimentos descritos en [2], observándose que el sistema automático ofrece unas prestaciones equiparables al estado del arte actual y que el protocolo de corrección interactiva reduce a aproximadamente la mitad el esfuerzo humano necesario.
[1] Álvaro Peris, Miguel Domingo, Francisco Casacuberta. Interactive Neural Machine Translation. Computer Speech and Language, 2017. Vol. 45 pp. 201-220.
[2] Álvaro Peris, Francisco Casacuberta. Interactive-predictive neural multimodal systems. In
Proceedings of IbPRIA¿19. In press. Preprint: https://arxiv.org/abs/1905.08181. 2019.
Más información:
