Citas a artículos que no existen, trabajos inventados, autores fantasmas: las alucinaciones de la Inteligencia Artificial Generativa llegaron al mundo científico. La tecnología promete acelerar la investigación, pero multiplica los errores. Una mirada a un callejón de difícil salida, en la nota de la semana de Revista Acción.
Por Esteban Magnani – Auspiciado por la banca solidaria Credicoop
La historia de la revolución científica es conocida: la teoría heliocéntrica de Copérnico, desarrollada en el siglo XVI, fue la base sobre la que Johannes Kepler dedujo que el movimiento planetario era elíptico. Gracias a esas investigaciones (y otras) Isaac Newton inauguró la ciencia moderna con su Ley de la Gravitación Universal. «Si he visto más lejos, es poniéndome sobre los hombros de gigantes», diría en una carta de 1675.
La historia de la ciencia depende de investigaciones rigurosas que cada investigador utiliza como base para su propia construcción. Pero si se esperaba que «la ciencia» y su método escaparan al caos generalizado de la discusión social, tal vez sea hora de ir perdiendo las esperanzas: «La citación alucinada está contaminando la literatura científica», publicó la revista Nature hace un par de meses.
Los científicos son humanos y, como todos, tienen razones para usar la Inteligencia Artificial Generativa (IAG): la presión mediática de una tecnología que «lo va a cambiar todo», y el hecho de que esas herramientas ahorran tiempo en edición, búsqueda bibliográfica o para enfrentar la página en blanco. El confort, además, es una droga para la que no parece haber recuperación: una vez que uno se acostumbra a hacer más fácilmente las cosas, es difícil volver atrás, y la tentación de chequear cada vez menos que propone la IAG se vuelve irresistible.
Este proceso está cada vez más extendido: Steven Rosenbaum, autor de El futuro de la verdad: cómo la IA está dando nueva forma a la realidad, explica en su libro cómo la IA deforma y borronea la realidad. Poco después de la publicación, una investigación del New York Times descubrió que varias citas del propio libro habían sido «alucinadas» por la IA que el propio autor usó como asistente. Rosenbaum reconoció el error, aunque aseguró que seguirá usando IAG. Que esto pase en un libro sobre la verdad ya preocupa, que afecte al método científico es aún más grave.
Los fundamentos
El método científico se basa, sobre todo, en la publicación de trabajos rigurosos que explican un procedimiento y resultados que todos pueden comprobar y, a su vez, cada trabajo discute o se apoya en otros sobre el mismo tema. Uno de los mecanismos que demuestra la importancia de un paper es la cantidad de veces que es citado.
Por eso resultan tan preocupante que las IAG que usan los científicos inventen citas con datos precisos como el DOI (el «DNI» de cada paper). Este fenómeno suele llamarse «alucinación», pero no es más que una desviación estadística: la IAG, por más que su nombre diga lo contrario, no es inteligencia, sino estadística. Lo que hacen los grandes modelos de lenguaje (LLM, por sus siglas en inglés) es calcular la probabilidad de que una palabra siga a otra a partir de patrones hallados en millones de textos provenientes de todo tipo de fuentes, desde libros hasta posteos. Incluso entrenada solo con materiales científicos, una IA puede producir algo que no existe en el mundo real, simplemente porque es estadísticamente posible. Es un rasgo estructural de las IAG: establecen patrones de probabilidad y el mundo real no les importa.
A esto se suma una necesidad económica de las corporaciones de mantener contentos a sus clientes: así como las redes sociales nos dan aquello que mejor encaja con nuestras ideas, las IAG tienden a adularnos para que sigamos eligiéndolas. Si un científico le pide una cita que respalde su propia investigación, la IAG producirá algo verosímil y convincente, con un lenguaje similar al de los artículos con los que fue entrenada. Y si el tiempo apremia y están cansados, probablemente ocurra lo que se cuenta en la revista Nature: que las citas apócrifas se multipliquen.
Círculo vicioso
Como además es más fácil «escribir» trabajos científicos con IAG, la cantidad de ponencias que se presentan a las conferencias aumenta: según Nature, una conferencia de 2026 sobre Machine Learning recibió 24.000 propuestas, el doble que el año anterior. Otro análisis indicaba que el 2,6% de los trabajos presentados tenía al menos una cita inventada, contra el 0,3% del año anterior. En revistas menos conocidas las cifras son aún más altas. La maraña también crece porque, una vez que un paper inexistente es citado en varios artículos, otros científicos lo dan por cierto y reproducen la cita apócrifa, que a su vez vuelve a alimentar el entrenamiento de las IAG.
La dificultad para determinar qué existe y qué no, la multiplicación de citas falsas revalidadas por nuevas citas y la inundación de papers hechos con IA que deben evaluarse sin recursos humanos suficientes hacen pensar que el problema empeorará con el tiempo.
A esto se suman las desigualdades norte-sur: los grandes repositorios de trabajos científicos están en manos de un puñado de empresas que monopolizan el acceso y cobran por él, y muchos científicos de países pobres no tienen el dinero para chequear cada cita, lo que retroalimenta aún más el problema.
En tiempos de IAG, Newton habría tenido que chequear la solidez de los hombros de sus antecesores antes de subirse a ellos para no desbarrancarse.
