Resumen
La traducción automática neuronal (NMT) se enfrenta a importantes retos a la hora de adaptarse a la naturaleza siempre cambiante del lenguaje natural. Los modelos tradicionales de traducción tienen dificultades para integrar nuevos términos en sus vocabularios y son propensos a olvidar la información aprendida previamente al aprender una nueva tarea. Este trabajo aborda estos retos explorando métodos que permitan el aprendizaje continuo en la traducción automática, centrándose tanto en el reto del vocabulario abierto como en el problema del olvido catastrófico.
Para abordar el problema del vocabulario abierto, introducimos vocabularios a nivel de cuasicarácter, que combinan la flexibilidad de los modelos a nivel de carácter con la eficacia de las codificaciones de nivel superior. Este enfoque permite a los modelos de traducción representar cualquier palabra, incluidas las no vistas o raras, sin aumentar excesivamente la longitud de las secuencias, lo que mejora la generalización y el rendimiento del modelo. Además, proponemos vocabularios incrementales y continuos que aprovechan los embeddings composicionales para integrar nuevas palabras en nuestros modelos de traducción sin necesidad de reentrenamiento.
Para abordar el problema del olvido catastrófico, investigamos la influencia del dominio y el tamaño del vocabulario en la capacidad de retención de nuestros modelos de traducción. Por ello, exploramos estrategias de ensayo (rehearsal), demostrando que cantidades mínimas de datos anteriores pueden reducir significativamente el olvido durante el entrenamiento. Además, para mejorar la retención de conocimientos sin depender en gran medida de los datos anteriores, proponemos una estrategia de regularización que combina el ensayo con pocos datos (few-shot), junto con penalizaciones en la función objetivo para equilibrar la capacidad de retención del modelo.
Por último, exploramos métodos de adaptación con parámetros eficientes para implementar estrategias eficaces de cambio de tareas. A partir de ahí, descubrimos que, al aprender un número mínimo de parámetros, estos métodos permiten que los modelos de traducción se adapten a nuevos dominios, estilos o incluso idiomas sin una sobrecarga computacional sustancial ni una degradación del rendimiento en tareas anteriores. Para complementar esta investigación, también derivamos una técnica de regularización basada en gradientes para matrices de bajo rango, que facilita la integración de nuevos conocimientos al tiempo que mitiga el problema del olvido catastrófico.
En resumen, este trabajo supone un avance en el campo del aprendizaje continuo en la traducción automática al proporcionar soluciones prácticas y ampliamente validadas al problema del vocabulario abierto y al problema del olvido catastrófico, allanando el camino para sistemas de traducción automática más adaptables y eficientes, capaces de responder a las demandas, siempre en constante evolución, de las tareas de traducción de lenguaje natural.
