When History Lies conserva la petición y la acción correcta, pero contamina el rastro anterior. En Qwen3-1.7B, esa historia obsoleta revierte el 32,1% de decisiones originalmente correctas.
La memoria de un agente suele presentarse como una solución acumulativa: cuanto más historial conserva, menos tendrá que volver a preguntar y más coherentes serán sus decisiones. El problema aparece cuando el pasado sigue siendo legible, detallado y perfectamente plausible, pero ya no tiene autoridad sobre el presente. Un identificador ha cambiado, una herramienta adoptó otro esquema, una entidad fue sustituida o una convención válida en un turno anterior contradice la instrucción más reciente. El modelo no recibe ruido evidente. Recibe una mentira bien escrita.
When History Lies, de Xiaoqing Wu, Xingyu Fan, Feifei Li y Wenhui Que, intenta medir esa fragilidad sin mezclarla con otros fallos. Los autores construyen pares sincronizados de trayectorias: mantienen iguales la política del sistema, las herramientas disponibles, la petición actual y la acción correcta, pero alteran elementos concretos del rastro anterior. Así pueden preguntar algo mucho más preciso que «¿maneja bien conversaciones largas?»: ¿cambia una decisión que era correcta sólo porque el historial contiene una pista antigua pero verosímil?
La respuesta es incómoda. En Qwen3-1.7B, la contaminación revierte el 32,1% de las decisiones que el modelo resolvía correctamente en la trayectoria original. No se trata de que el agente olvide el objetivo ni de que la ventana se llene de texto aleatorio. El fallo nace de once tipos de información histórica que han perdido vigencia: entidades antiguas, argumentos ya inválidos, convenciones de formato o estados que dejaron de representar el mundo. La continuidad narrativa, que normalmente ayuda, se convierte en una fuente de obediencia equivocada.
El diseño del benchmark evita una escapatoria habitual. Cada caso incluye tres vistas del mismo problema: la trayectoria original, la historia contaminada y un estado oráculo que conserva la situación real. La última petición y el resultado correcto no cambian. Por eso, cuando el agente se desvía, no puede atribuirse el error a una tarea distinta. El experimento aísla el peso causal de la historia. Una traza puede ser sintácticamente impecable y, aun así, empujar la política fuera de la acción correcta.
Los autores no proponen simplemente borrar memoria. Entrenan a un estudiante que sólo ve la historia contaminada con supervisión blanda de un profesor condicionado por el estado oráculo. La precisión equilibrada en uso de herramientas sube al 87%, frente al 66,3% de un ajuste supervisado sobre respuestas oro. Con un profesor de 8.000 millones de parámetros, el estudiante de 1.700 millones alcanza el 91,9%. La mejora transfiere también a historiales limpios, funciones no vistas y otros benchmarks, una señal de que el modelo aprende a jerarquizar evidencia y no sólo a memorizar correcciones.
La consecuencia operativa va más allá de un resultado de laboratorio. Los asistentes persistentes mezclan mensajes del usuario, salidas de herramientas, resúmenes automáticos, notas internas y decisiones antiguas dentro de una sola continuidad textual. A ojos del modelo, todas esas piezas pueden parecer igual de presentes. Para una persona, en cambio, «lo dijo el usuario ayer», «lo devolvió una API hace una hora» y «lo resumió otro agente» tienen autoridades distintas. El texto no conserva por sí solo esa jerarquía.
Una memoria fiable necesita al menos tres propiedades que rara vez aparecen en la demo. La primera es procedencia: quién originó cada dato y mediante qué canal. La segunda es vigencia: durante cuánto tiempo sigue representando el estado real. La tercera es autoridad: qué fuente puede corregir o invalidar a cuál. Guardar una frase sin esos metadatos preserva contenido, pero destruye el contrato que permitía usarlo. En una preferencia de estilo el coste puede ser pequeño; en una compra, un despliegue o una cita editorial, la diferencia es decisiva.
También cambia la forma de depurar. Cuando un agente ejecuta una acción equivocada después de cincuenta turnos, resulta tentador corregir el último prompt o añadir una prohibición. When History Lies obliga a mirar antes: quizá el sistema reconstruyó el presente con un dato que ya había caducado. La reparación no consiste entonces en redactar una instrucción más enfática, sino en invalidar estados, marcar versiones, resolver contradicciones y limitar qué recuerdos pueden autorizar una acción sensible.
Hay una lección de producto. Las interfaces celebran la memoria como ausencia de fricción: el asistente «ya te conoce». Pero conocer no es acumular. Un sistema útil debe saber qué ha cambiado desde la última vez y ofrecer una forma visible de corregirlo. Debería poder responder no sólo qué recuerda, sino de dónde salió, cuándo fue confirmado y por qué continúa vigente. Sin esa trazabilidad, la personalización puede convertirse en una máquina muy eficiente de repetir decisiones antiguas.
El trabajo tiene límites. La contaminación está controlada y los autores conocen el estado oráculo; en producción, determinar qué parte del mundo cambió es bastante más difícil. Tampoco toda contradicción se resuelve con una regla temporal: una política del sistema puede conservar prioridad sobre una petición reciente, mientras una observación nueva invalida una cifra antigua. Precisamente por eso el resultado importa. Demuestra que el orden de los mensajes no basta como modelo de autoridad.
La prueba más útil sería cotidiana: pedir al agente que enumere qué recuerdos cambiarían su decisión actual y cuáles sólo aportan contexto. Si no puede separar ambos grupos, la memoria todavía es almacenamiento, no criterio.
La memoria larga deja de ser una ventaja automática. Puede reducir preguntas, conservar contexto y permitir trabajo de días, pero también amplifica una instrucción caducada hasta convertirla en decisión. El agente fiable no es el que recuerda más. Es el que distingue entre historia y estado, conserva la procedencia y sabe cuándo un pasado plausible ha dejado de mandar.
Fuente primaria: When History Lies: Evaluating and Improving Tool Use under Misleading Multi-Turn Histories, arXiv