Abstract
A pesar de la creciente integración de las herramientas de Deep Research en los flujos de trabajo
académicos, siguen siendo escasas las evidencias empíricas acerca del funcionamiento, estabilidad y posibles sesgos de sus sistemas de citación. Este estudio aborda este hueco en la literatura
evaluando la intensidad, consistencia y características bibliográficas de las referencias citadas
en los informes de literatura generados por Ai2 Asta, con el objetivo de comprender cómo funciona su sistema de citación y analizar sus implicaciones para la comunicación científica. Para
ello, se enviaron diez consultas específicas a través de la funcionalidad Summarise Literature de
Asta, y se llevaron a cabo dos rondas independientes de recogida de datos. De cada informe se
extrajeron y examinaron las citas embebidas en el texto, las referencias citadas, así como otras
métricas relacionadas con el proceso de respuesta. Los resultados revelan una alta intensidad
de citación, así como un conjunto de fuentes diverso pero concentrado en unas pocas fuentes.
Sin embargo, se observa una notable inestabilidad en la composición de las referencias citadas
en consultas idénticas, junto con una falta de concordancia entre los documentos recuperados
y los finalmente citados, lo que sugiere la existencia de mecanismos adicionales y opacos de
selección durante la generación del informe. Estos hallazgos indican que, aunque Ai2 Asta
produce informes bien estructurados y de calidad, su inestabilidad y falta de transparencia en
el proceso de citación, plantean desafíos de cara a su uso en estudios cuantitativos de la ciencia,
debido a su falta de reproducibilidad y trazabilidad. A pesar del número limitado de consultas
y del alcance disciplinar restringido, los resultados ofrecen información valiosa para investigadores, expertos en Bibliometría, desarrolladores y evaluadores científicos interesados en
comprender, utilizar o regular de forma responsable los asistentes académicos basados en IA.
