Fidelidad de los resúmenes de comunidades en un grafo de conocimiento: auditoría con refutación adversarial

La fidelidad de los resúmenes abstractivos, es decir, que no agreguen información ausente de la fuente, es un problema documentado (Maynez et al., 2020). Los métodos tipo GraphRAG generan además un resumen por cada comunidad del grafo (un grupo de entidades muy conectadas entre sí, que el algoritmo forma sin intervención humana; en adelante, zona), que el usuario lee como descripción autorizada de esa zona de la memoria. En la literatura que revisamos, esos resúmenes se evalúan por su utilidad para responder preguntas globales y no por su fidelidad a los datos de cada comunidad.

Una auditoría completa de los 37 resúmenes, con un auditor por comunidad y un refutador por dictamen, en la línea de los modelos usados como jueces y del debate entre agentes (Zheng et al., 2023; Du et al., 2023). Dos hipótesis que surgen de la auditoría: que exigir una etiqueta temática favorece la invención, y que una entidad transversal (en una empresa pequeña, la ficha del fundador) puede formar comunidades sin tema. Ambas se apoyan en un solo caso y requieren un experimento controlado.

Cada noche, un modelo de lenguaje lee el trabajo del día del equipo y lo convierte en un mapa de personas, proyectos, entregables y decisiones. Ese mapa se agrupa solo en 37 comunidades o zonas temáticas, como carpetas que nadie rotuló a mano, y para cada zona el mismo modelo escribe un nombre y un resumen. Ese resumen es lo que cualquiera del equipo ve al preguntar de qué trata esa parte de la memoria. Nadie verificaba si decía la verdad. Si el resumen contiene datos ausentes de la fuente, quien lo consulta los hereda como ciertos.

Un resumen aprueba si cada persona, cifra y herramienta que nombra existe en los datos de su propia zona. Reprueba si inventa una sola. Lo primero que probamos fue lo obvio: una persona revisó las 37 zonas y aprobó 35. Un día después, una revisión más profunda encontró tres casos que se le pasaron. No por descuido: cotejar cada nombre contra los datos reales 37 veces seguidas es un trabajo que nadie sostiene despierto.

La alternativa fue fuerza bruta con contrapeso: 75 agentes, copias del modelo con una sola instrucción cada una. Un auditor por zona que revisa el resumen contra la evidencia. Un refutador por auditor cuyo único mandato es demoler ese dictamen. Y una síntesis final. El diseño descansa en que cada veredicto tenga un contradictor encargado de refutarlo.

8 de los 37 resúmenes inventaban datos: personas, facturas o herramientas que no existen entre sus propios datos, dichas con total seguridad y sin una señal de duda. Cinco de esas ocho zonas estaban bien organizadas por dentro: la agrupación era correcta y el error estaba solo en el resumen. La estructura misma estaba sana en 33 de 37.

El refutador no fue adorno. En un caso frenó una limpieza que habría borrado datos verdaderos, un empleo real de un socio y un candidato entrevistado de verdad, que el auditor había dado por inventados.

En los casos con invención, el modelo completó la etiqueta pedida con nombres plausibles. La única zona desordenada cuyo resumen fue honesto, «mezcla varios frentes sin un proyecto dominante», fue detectable justamente por esa confesión.

Sospechábamos de las zonas que giran en torno a una sola ficha central. Falso: de las 10 zonas con esa forma, 9 estaban impecables, porque un proyecto real orbita alrededor de sí mismo. La única enferma tenía en el centro a una persona transversal a todo: en una empresa chica, la ficha del fundador toca todos los frentes, atrae fragmentos de todo y arma una zona sin tema. El riesgo depende del tipo de entidad que ocupa el centro, no de su número de conexiones.

Un verificador mecánico que coteje cada resumen contra sus datos habría atrapado los ocho casos por una fracción del costo; no existe todavía. La corrección espera pruebas de que las zonas sanas no se rompen. Y hay una zona que la revisora humana marcó como problemática y el barrido no encontró; debemos explicar por qué. Publicamos los pendientes porque un informe donde todo salió bien sería exactamente el tipo de resumen que esta auditoría existe para desenmascarar.

Nota posterior (agosto de 2026): el grafo del que salen estas zonas dejó de ser el camino para responder preguntas tras perder su propia medición. La lección de este estudio, medir el relato y no solo el archivo, sobrevive al grafo.