Resumen
Las tareas de conversión de imagen a texto son esenciales en campos como la atención médica, la digitalización de documentos y la accesibilidad, ya que transforman información visual en texto. Tradicionalmente, estos procesos empleaban Redes Neuronales Convolucionales (CNN) para el análisis de imágenes y Redes Neuronales Recurrentes (RNN) para el procesamiento de texto. Sin embargo, estos métodos enfrentaban dificultades para capturar dependencias de largo alcance y el contexto global de los datos.
En respuesta a estas limitaciones, los desarrollos recientes, especialmente la arquitectura Vision Encoder-Decoder (VED) en los modelos de transformers, han logrado superar estos desafíos al integrar de manera más efectiva los datos visuales y textuales, manteniendo el contexto necesario. Esta tesis se centra en explorar el potencial de los transformers VED, demostrando su superioridad en dos áreas clave: el Reconocimiento de Texto Manuscrito (HTR) y la Generación de Informes de Radiología (RRG), logrando resultados de vanguardia con una arquitectura más sencilla y menores demandas computacionales.
La primera contribución de esta tesis es un método efectivo de ajuste fino para textos manuscritos históricos mediante el uso de modelos VED. Este enfoque no solo logra resultados impresionantes en múltiples idiomas y conjuntos de datos, sino que también demuestra una notable adaptabilidad, incluso con datos de entrenamiento limitados. Esto subraya el alto rendimiento del modelo en tareas de HTR y su capacidad para abordar los desafíos asociados con el reconocimiento de documentos históricos.
La segunda contribución se centra en la mejora del Reconocimiento de Documentos Manuscritos (HDR) al realizar HTR en un solo paso mediante el ajuste fino de modelos de transformers de visión. En este contexto, se introducen nuevas arquitecturas VED y se demuestra cómo los modelos preentrenados pueden manejar eficazmente la escasez de datos, logrando una mayor precisión y tiempos de inferencia más rápidos. Estas mejoras ofrecen soluciones prácticas para las tareas de HDR, incrementando significativamente tanto el rendimiento como la eficiencia.
La tercera contribución de este trabajo avanza en la Generación de Informes de Radiología (RRG) al desarrollar un flujo de trabajo de entrenamiento eficiente para modelos VED. Este flujo de trabajo resalta componentes clave del modelo y estrategias que optimizan el rendimiento, al mismo tiempo que diversifican el contenido de los informes. Además, se introducen nuevas métricas de evaluación, junto con aplicaciones prácticas, lo que proporciona un enfoque flexible y efectivo para mejorar la calidad y utilidad de los informes de radiología.
Finalmente, la cuarta contribución se enfoca en mejorar la velocidad de inferencia para diversos tipos de texto, que incluyen manuscritos históricos, textos modernos, impresos y de escenas. Al utilizar arquitecturas innovadoras sin decodificador, la investigación demuestra que es posible lograr un alto rendimiento en una amplia gama de tipos de texto. Esto resalta la versatilidad y eficiencia de los modelos VED en tareas de reconocimiento de texto.
En conclusión, esta tesis pone de manifiesto el potencial transformador de los modelos Vision Encoder-Decoder en tareas de conversión de imagen a texto. Se evidencian mejoras significativas en HTR, HDR y RRG, lo que resalta las ventajas de los modelos VED en comparación con los enfoques tradicionales de CNN-RNN. La investigación enfatiza no solo su rendimiento superior, sino también su eficiencia y adaptabilidad en una variedad de aplicaciones prácticas.