Grafo de conocimiento frente a documentación curada: un estudio de caso en memoria organizacional

La generación aumentada por recuperación basada en grafos estructura un corpus como una red de entidades y relaciones, ya sea para resumir comunidades (GraphRAG: Edge et al., 2024) o para propagar relevancia desde las entidades de la pregunta (HippoRAG: Gutiérrez et al., 2024); el sistema evaluado aquí sigue el segundo esquema. Se ha evaluado sobre todo contra la recuperación por fragmentos de texto. En lo que revisamos, no encontramos evaluaciones en memorias organizacionales reales, donde parte del corpus ya existe como texto curado por personas.

Comparamos, sobre 95 preguntas reales y con un criterio de acierto fijado antes de medir, un grafo construido cada noche con la lectura de dos documentos que el equipo ya escribía. Como ambos caminos parten de fuentes distintas, el resultado compara sistemas completos y no técnicas de recuperación aisladas. Proponemos además una explicación, basada en la inspección de casos: el grafo localiza la fuente correcta, pero entrega fragmentos que mencionan el tema sin declararlo, y el modelo lector no logra responder con ellos. Que la presencia de la información no basta para que un modelo la use está documentado en otros montajes (Liu et al., 2023, sobre la posición del dato en contextos largos).

Una empresa de tres socios y una tripulación de agentes produce cada día registros de trabajo: qué se decidió, qué se descartó, quién dijo qué. Durante meses construimos un grafo de conocimiento, un mapa de personas, proyectos y decisiones unidas por sus relaciones, para que esa memoria respondiera preguntas. Era la herramienta que más nos gustaba. La pregunta era si responde mejor que no tenerla.

Armamos un banco de 95 preguntas reales sobre 10 proyectos, cada una con su respuesta verificada a mano contra la fuente. Dos caminos compiten. El primero es el grafo: identifica los nombres que menciona la pregunta, los usa como puntos de partida y propaga la señal por el mapa hasta traer los fragmentos relevantes. El segundo es el más simple que existe: leer el estado del proyecto y sus hitos, dos documentos cortos que el equipo ya escribía. Un lector, un modelo de lenguaje, recibe lo que cada camino trae y contesta.

Acierto: la respuesta es correcta y sale de la fuente correcta. Lo decide un jurado de tres modelos por mayoría, porque un juez solo, medido sobre respuestas idénticas, movía el marcador hasta dos aciertos arriba o abajo. Gana el camino que contesta más.

El grafo contestó 26 de 95. Leer el estado y los hitos contestó 80 de 95. La diferencia, de 54 respuestas, supera en más de diez veces el piso de ruido medido (dos respuestas). El grafo pierde incluso en lo que era su especialidad declarada, las decisiones: 17 contra 31.

Lo interesante está en el porqué. El grafo apunta bien: la fuente correcta aparece entre lo que trae más veces que en el otro camino. Pero entrega fragmentos que mencionan el tema en vez de prosa que lo declara, y el lector no alcanza a armar la respuesta. El documento de estado, escrito por una persona para ser leído, ya viene armado.

Cuatro veces, antes de llegar a este número, medimos nuestro propio montaje en vez del fenómeno: un juez que sorteaba, un prefijo del identificador que delataba la respuesta, los acentos de un nombre de proyecto que partían el banco en dos, y un tope de material que en realidad medía casi solo el documento de estado. Una corrida no es una medición: tres corridas idénticas del mismo sistema se movieron dos aciertos entre sí, y ese es el piso de ruido bajo el cual nada cuenta.

La investigación cambió de objeto. De las 8.531 entradas de nuestra memoria, el 2 % es material curado por personas, y ese 2 % responde el 84 % de las preguntas. El trabajo ahora es escribir mejor ese 2 % y leerlo bien, no construir estructuras encima.