Memoria organizacional con modelos de lenguaje: recuperar, resumir y medir.
Las organizaciones pierden el razonamiento detrás de sus decisiones cuando cambian las personas. Investigamos cómo los modelos de lenguaje pueden sostener esa memoria a partir del trabajo diario, en dos líneas, recuperar conocimiento y resumirlo con fidelidad, con una preocupación transversal por la validez de la medición. El caso de estudio es el registro de trabajo de nuestra propia consultora. Cada estudio declara qué mide, con qué criterio de acierto y qué resultado lo aprueba, y se publica con su resultado, sea favorable o no. El más reciente declara haber fijado ese criterio antes de medir.
Un estudio tiene criterio de evaluación. Un apunte, todavía no.
Exige tres cosas antes de publicarse
Qué se mide · contra qué criterio · qué resultado aprueba o reprueba. Si falta una, no es estudio. Lleva figura con los datos y se marca cerrado o superado cuando otro estudio lo deja atrás.
Qué se sabe, qué no, qué se va a probar
Sin figura de datos ni conclusión. Sirve para dejar constancia de una idea antes de medirla, con su estado a la vista. Todavía no hay apuntes publicados; el primero estrena el formato.
Del más reciente al más antiguo.
● cerrado
Grafo de conocimiento frente a documentación curada: un estudio de caso en memoria organizacional
Sobre 95 preguntas reales de 10 proyectos, un modelo lector respondió 80 con el estado del proyecto y sus hitos como contexto, y 26 con lo que recuperó el grafo de conocimiento. El grafo localiza la fuente, pero entrega fragmentos que mencionan el tema sin declararlo, y con ellos el lector no logra responder.
● cerrado
Fidelidad de los resúmenes de comunidades en un grafo de conocimiento: auditoría con refutación adversarial
8 de 37 resúmenes automáticos nombraban personas, facturas o herramientas ausentes de sus propios datos, aunque 33 de las 37 comunidades estaban bien formadas. El único resumen que admitió no tener tema común fue fiel, lo que sugiere que exigir una etiqueta temática favorece la invención; queda por probarlo variando la instrucción.
● superado
Un grafo temporal como memoria organizacional: construcción y primera evaluación
Un grafo construido cada noche desde las bitácoras del equipo pasó de 28 % a 80 % en ubicar la fuente correcta entre los cinco primeros resultados, sobre 25 decisiones reales. Una medición posterior, con otro banco y un criterio que exigía responder la pregunta, indica que ese criterio sobreestimaba su utilidad.
Lo que estos estudios no permiten afirmar.
Los tres observan una sola organización, pequeña, con material producido por el mismo equipo que construyó los sistemas evaluados: las preguntas y respuestas de referencia en los dos estudios de recuperación, y los datos de origen en el de resúmenes. Cuando el juez es un modelo de lenguaje, su variación se midió en un solo estudio (hasta ±2 aciertos sobre 95, con jurado de tres por mayoría). El contraste con evaluadores humanos se limita a una revisión manual en el estudio de resúmenes, que discrepó en una zona aún sin explicar. El estudio de 25 decisiones corrigió el buscador y volvió a medir sobre el mismo banco, sin un conjunto reservado. Los resultados describen este caso; generalizarlos exige replicarlos en otras organizaciones y con conjuntos de prueba reservados.