Resumen
A medida que los modelos de aprendizaje automático aumentan en capacidades y complejidad, se ha vuelto más difícil interpretar y comprender las conclusiones a las que llegan. Las crecientes dificultades para predecir el comportamiento de los modelos han motivado la aparición del campo de la Inteligencia Artificial Explicable (XAI, por sus siglas en inglés) como un medio para entender y auditar las respuestas dadas por los algoritmos. Este esfuerzo proviene de dos frentes diferentes. El primero es la explicabilidad por diseño. Esto implica el diseño e implementación de algoritmos que son comprensibles y cuyas respuestas podemos predecir utilizando fórmulas matemáticas. El segundo enfoque se basa en construir una serie de pruebas y abstracciones matemáticas para interpretar algoritmos de aprendizaje automático preexistentes.
Ambos paradigmas tienen sus limitaciones. La explicabilidad por diseño limita el tipo de algoritmos que se pueden implementar. Como consecuencia, estos algoritmos tienden a ser menos eficientes que los de caja negra o aplicables a menos problemas. Por el contrario, el segundo enfoque generalmente implica la implementación de una serie de pruebas y representaciones visuales, que requieren mucho tiempo, experimentación intensiva y dependen en gran medida de la interpretación y heurísticas humanas. Esta tesis tiene como objetivo proporcionar un marco de explicabilidad matemáticamente robusto para los algoritmos de aprendizaje automático en general, y para los modelos de lenguaje a gran escala en particular. La principal herramienta matemática para construir dicho marco será la teoría de categorías.
El primer paso de la tesis es establecer experimentalmente qué tipo de información se espera que una red neuronal pueda extraer de un texto. Esto se logra calculando métricas de interpretabilidad en una red neuronal convolucional (CNN) entrenada para la tarea de análisis de sentimientos. Como resultado, pudimos identificar las etiquetas POS que eran más relevantes para la tarea de clasificación, concluyendo que la CNN está percibiendo cierta información semántica. El segundo paso abordado en esta disertación es proporcionar un marco categórico que permita rastrear la información (aritmética) presente en los datos y cómo afecta la salida de los algoritmos. Para ello, mejoramos las estructuras teóricas de categorías existentes a sus contrapartes enriquecidas y decoradas, mostrando que una gran cantidad de información es extraída y analizada por los algoritmos de aprendizaje.
Habiendo comprendido todas las piezas necesarias, formalizamos cómo la información semántica presente en los textos puede extraerse y transformarse en información aritmética. Esto se logra mediante el uso de las categorías semánticas \(\mathcal{L}_{T}\), que está enriquecida sobre \([0,1]\), convirtiéndola en un espacio de probabilidad; y la categoría \(\P_{T}\), una ampliación de una categoría de Markov, una categoría diseñada para rastrear la incertidumbre inherente al lenguaje. Gracias a la construcción de \(\P_{T}\), podemos dar una definición matemática de un espacio semántico que es independiente de la dimensión. Estos espacios semánticos serán el dominio de las incrustaciones de palabras (word embeddings). Los codominios son configuraciones que consisten en un espacio (pseudo)métrico y un subconjunto de puntos. Esto se utiliza para capturar la idea de que el punto preciso que representa una palabra no es lo importante; lo que importa es la relación entre los puntos. Finalmente, se define la categoría de incrustaciones de palabras y se decora mediante divergencias para producir una equivalencia entre ellas.
