El agente ya actúa; falta un juez que no le regale el aprobado
Los jueces automáticos perdonan fallos, los agentes de guardia aciertan sólo una de cada cuatro incidencias realistas y añadir cómputo puede prolongar el error.
El juez no puede ser el acusado
La remesa de hoy mueve el foco desde la capacidad de actuar hacia la capacidad de verificar. OSReward detecta que incluso los jueces visuales más avanzados tienden a aprobar ejecuciones fallidas; ORCA-bench sitúa a los mejores agentes de guardia técnica en sólo un 25,3% de acierto ante incidentes realistas. Añadir más contexto, pasos o agentes tampoco arregla el problema por sí solo: en sistemas locales aparecen rendimientos decrecientes y falsos éxitos prematuros. La mejora más prometedora está en asignar cómputo con criterio, adaptar la colaboración durante la tarea y separar herramientas, instrucciones y evaluación. En acceso, OpenAI rebaja Luna un 80% y Terra un 20%, mientras NaN propone una tarifa plana de GPU compartida para modelos abiertos: la batalla ya no es sólo por inteligencia, sino por quién convierte el coste variable en una factura predecible.
Los jueces automáticos perdonan fallos, los agentes de guardia aciertan sólo una de cada cuatro incidencias realistas y añadir cómputo puede prolongar el error.

El acusado ejecuta, redacta el informe y se firma el aprobado. · Sol
Viñeta · Sol
OSReward evalúa modelos visión-lenguaje que juzgan trayectorias de agentes informáticos contra veredictos humanos. Incluso los modelos de vanguardia muestran un sesgo sistemático de indulgencia y confunden fallos con éxitos; los pocos jueces fiables resultan caros. Los autores entrenan OS-Shepherd, modelos abiertos de 9B y 35B que igualan jueces comerciales con un coste entre un 30% y un 60% menor
Un agente informático puede abrir una aplicación, recorrer menús, escribir en un formulario y cerrar la tarea con una explicación impecable. Eso no demuestra que haya cumplido la instrucción. Entre la secuencia de acciones y el resultado existe una última pieza que suele recibir menos atención que el modelo ejecutor: el juez que decide si aquello salió bien. OSReward, un trabajo coordinado por investigadores de la Universidad de Hong Kong junto a equipos de varias universidades asiáticas, convierte esa sospecha en un banco de pruebas. Su conclusión es incómoda: incluso los jueces visión-lenguaje más avanzados tienden a perdonar ejecuciones fallidas.
El problema no es menor ni puramente académico. Las trayectorias de los agentes que usan ordenadores sirven para evaluar productos, filtrar datos y entrenar nuevos modelos mediante aprendizaje por refuerzo. Si una trayectoria defectuosa recibe un aprobado, el error no sólo llega al usuario: puede regresar al sistema como señal de recompensa. El agente aprende entonces que una ejecución convincente, aunque incompleta, merece premio. Automatizar el veredicto sin medir la calidad del juez puede convertir un fallo elegante en doctrina.
OSReward reúne trayectorias generadas por agentes distintos sobre web, móvil y escritorio. Las instrucciones fueron verificadas por personas y los resultados se etiquetaron mediante un proceso humano en varias fases. Cada trayectoria prefiltrada pasó por tres anotadores independientes; los desacuerdos fueron a una revisión adicional. El diseño intenta evitar la circularidad habitual de evaluar un modelo exclusivamente con otro modelo y tratar su respuesta como verdad.
El benchmark no se limita a preguntar éxito o fracaso. OSReward-Hard concentra los casos realmente difíciles, mientras OSReward-Multi añade puntuaciones más finas sobre eficiencia y alineación con la instrucción. Esa separación importa porque una tarea puede terminar bien después de una ruta innecesariamente larga, o puede parecer eficiente porque el agente declaró éxito antes de tiempo. Reducir ambas situaciones a una sola etiqueta es perder precisamente la información que debería orientar el entrenamiento.
Al comparar 27 jueces de referencia, los autores encuentran un techo de precisión y un patrón compartido: la indulgencia. La mayoría de errores no consiste en rechazar un trabajo correcto, sino en aceptar uno incompleto. El sesgo se amplía en el conjunto difícil. Los modelos ven una cadena de acciones razonable, una interfaz que cambió y una explicación final segura; esa coherencia narrativa pesa más que la evidencia de que la instrucción quedó realmente satisfecha.
El trabajo prueba qué ocurre al modificar la información que recibe el juez. Las ablaciones muestran que las entradas visuales apenas mueven algunos veredictos, mientras el historial textual de la trayectoria resulta decisivo. No significa que las capturas sean inútiles. Significa que el juez puede apoyarse demasiado en la narración de acciones y razonamientos, precisamente la parte que el agente produce y puede presentar de forma persuasiva. Una interfaz final aparentemente plausible tampoco garantiza que el estado persistente sea el correcto.
Cambiar el modo de ejecutar al juez no resuelve por sí solo el problema. Más razonamiento, otra configuración o una lectura distinta de la misma trayectoria no eliminan el sesgo sistemático. Los pocos modelos suficientemente fiables para acercarse al veredicto humano son demasiado caros para aplicarlos a gran escala; los modelos abiertos asequibles quedan claramente por detrás. La evaluación automática tropieza así con una paradoja: el control puede costar tanto como la acción que pretende controlar.
La respuesta de los autores es OS-Shepherd-100K, un corpus abierto de cien mil juicios de trayectorias acompañados de razonamiento. Con él entrenan dos modelos de recompensa, de 9.000 y 35.000 millones de parámetros. Según sus resultados, OS-Shepherd se acerca a los jueces comerciales con un coste entre 30 y 60 veces menor. Es una mejora de infraestructura, no una absolución del juez automático: el benchmark sigue mostrando que ningún modelo equivale a un verificador ideal.
La lección operativa es más concreta que el tópico de “poner un humano en el circuito”. Un sistema serio necesita criterios observables antes de ejecutar: qué estado debe existir, qué comprobación independiente lo demuestra y qué evidencia se conservará. El juez no debería limitarse a leer la explicación del agente. Debe consultar el resultado, contrastar restricciones y distinguir entre una acción realizada y una tarea completada. Cuando sea posible, conviene combinar verificadores deterministas, comprobaciones del entorno y revisión humana selectiva.
También hace falta calibrar el coste del error. Un asistente que ordena una carpeta tolera un esquema de revisión distinto de un agente que envía pagos, modifica producción o accede a datos sensibles. La misma puntuación media puede ocultar un sesgo fatal si casi todos los fallos consisten en falsos positivos. En tareas de alto impacto, aprobar incorrectamente es más peligroso que pedir una segunda revisión a un resultado válido.
Medir sólo la precisión agregada tampoco basta. Una organización necesita conocer la tasa de aceptación de fallos, el rendimiento por plataforma y el coste de cada veredicto fiable. Esos datos permiten reservar el juez más caro para casos ambiguos y resolver tareas simples con comprobaciones deterministas. La evaluación deja así de ser una ceremonia final y se convierte en una política de riesgo.
OSReward no demuestra que los jueces de IA sean inútiles. Demuestra que su fiabilidad debe medirse como la de cualquier otro componente y que su error tiene dirección. El agente ya sabe actuar y el juez ya sabe argumentar; ninguno de los dos garantiza por sí solo que el trabajo esté hecho. La frontera útil no es una trayectoria más larga ni un veredicto más elocuente. Es un sistema capaz de producir evidencia que sobreviva a un examinador que no haya decidido aprobar de antemano.
El estudio compara escalado contextual, temporal, estructural y paralelo en varios agentes locales sobre OSWorld. El historial estabiliza trayectorias, pero los beneficios se saturan; más pasos reducen bloqueos sin mejorar sustancialmente el éxito y desplazan el fallo hacia falsos positivos prematuros. La conclusión es incómoda y útil: hace falta asignación selectiva de cómputo, no más cómputo por defecto
Cuando un agente local falla, la reacción más intuitiva es darle más: más historial, más pasos, un plan separado o varias trayectorias en paralelo. “Rethinking Inference-Time Scaling in Local Computer-Use Agents” somete esas cuatro recetas a una prueba sistemática y llega a una conclusión menos cómoda. El cómputo adicional suele ofrecer rendimientos decrecientes y, en algunos casos, no corrige el fallo: sólo cambia su forma. El agente deja de atascarse y empieza a declarar victoria demasiado pronto.
El estudio de Woongkyu Lee y Jungwook Choi, de la Universidad de Hanyang, se centra en modelos que usan ordenadores bajo restricciones de hardware local. Esa condición altera la discusión. En un servicio de frontera se puede comprar otra ronda de inferencia; en un equipo propio, cada captura, token y trayectoria compite por memoria y tiempo. La privacidad y la previsibilidad de costes hacen atractiva la ejecución local, pero obligan a decidir dónde merece la pena gastar el presupuesto.
Los autores evalúan Qwen3-VL en variantes de 8B y 30B-A3B, UI-TARS-1.5-7B y OpenCUA-7B sobre OSWorld. Organizan el escalado en cuatro dimensiones. La contextual conserva más historial de pantallas y acciones; la temporal aumenta el número máximo de pasos; la estructural separa planificación y ejecución; la paralela genera varios planes o intentos. Cada una promete reducir una clase de error, pero también introduce su propia factura.
Sin contexto, el agente puede repetir una acción porque no recuerda que ya la probó. Añadir historial le permite comparar estados, evitar bucles y mantener una trayectoria más estable. Las pruebas muestran una mejora inicial de precisión y comportamiento. Sin embargo, la ganancia se satura mientras el consumo de tokens sigue creciendo. A partir de cierto punto, conservar más pasado añade ruido y coste sin aportar la evidencia que falta para decidir el siguiente paso.
La distribución de fallos explica mejor el fenómeno que una media de éxito. Con historial suficiente disminuyen los bucles repetitivos y las tareas que agotan el límite de pasos, pero aumentan los falsos éxitos prematuros. El agente no está necesariamente más cerca del objetivo: ahora cuenta con una narración más coherente para convencerse de que ya llegó. El contexto corrige la amnesia, no la capacidad de verificar el estado final.
El escalado temporal produce una mutación parecida. Permitir más pasos reduce los casos que terminan porque se acabó el presupuesto, pero no mejora de forma sustancial la tasa de éxito. Algunas trayectorias continúan acumulando acciones sobre una hipótesis errónea. Más tiempo es útil cuando existe una señal de progreso; sin ella, equivale a financiar la obstinación.
La diferencia importa para diseñar políticas de reintento. Un sistema que detecta un formulario incompleto puede justificar dos acciones adicionales. Uno que repite la misma navegación sin cambiar el estado necesita una parada o un replanteamiento, no diez pasos extra. El presupuesto debería depender de la evidencia observada: progreso real, información nueva o una alternativa verificable. Asignar el mismo horizonte a todas las tareas confunde igualdad con eficiencia.
La descomposición estructural tampoco es gratuita. Separar un planificador de un agente que aterriza las acciones parece ordenado en un diagrama, pero los modelos locales pueden perder capacidad en el formato y la coordinación. El estudio muestra errores donde el planificador omite secciones requeridas o devuelve una acción fuera del bloque esperado, provocando un fallo de análisis antes de tocar la interfaz. Parte del cómputo se consume en traducir entre dos componentes, no en resolver la tarea.
Generar varios planes en paralelo mitiga algunos fallos de esa arquitectura, pero a un coste alto. En la comparación de precisión frente a tokens, configuraciones de un solo agente alcanzan mejor resultado con mucho menos consumo que varias configuraciones de dos etapas. El paralelismo tiene sentido cuando existe un criterio fiable para seleccionar entre candidatos. Sin un juez sólido, multiplicar propuestas sólo multiplica también los resultados plausibles que alguien deberá examinar.
La recomendación del trabajo no es eliminar el cómputo en inferencia. Es asignarlo según el modo de fallo. Más memoria cuando falta continuidad; más pasos cuando el estado demuestra avance; varios intentos cuando la tarea admite comparar resultados; una parada temprana cuando el agente repite o firma un éxito sin evidencia. Esa política exige observabilidad: registrar acciones, estados y señales de progreso con suficiente precisión para decidir antes de gastar.
Para equipos que despliegan agentes locales, la cifra relevante deja de ser cuántos pasos soporta el modelo y pasa a ser cuánto cuesta una tarea aceptada. El denominador debe incluir intentos fallidos, verificaciones, replanificación y tiempo de máquina. Un agente barato por token puede resultar caro si necesita cuatro trayectorias y un modelo externo para escoger la buena. Uno más grande puede ser eficiente si termina antes y deja una evidencia verificable.
La elección tampoco es binaria entre nube y portátil. Un flujo puede mantener localmente los datos y las acciones rutinarias, y escalar sólo los casos dudosos a un modelo mayor o a revisión humana. Para que esa ruta funcione, el agente local debe saber expresar por qué duda y qué evidencia falta. Sin esa salida, el ahorro aparente se paga en tareas que terminan con un aprobado prematuro.
El estudio acota sus conclusiones a modelos locales y a OSWorld; no demuestra que todo escalado sea inútil en agentes de frontera. Sí desmonta una idea peligrosa: que cualquier presupuesto adicional se convierte automáticamente en capacidad. En sistemas que actúan sobre interfaces, el cómputo sólo ayuda cuando responde a una necesidad identificada. Dar más cuerda sin mirar el nudo puede producir una trayectoria más extensa, una explicación más segura y exactamente el mismo error.
Fuente primaria: Rethinking Inference-Time Scaling in Local Computer-Use Agents
ORCA-bench combina un sistema real instrumentado con OpenTelemetry, seis días de métricas, logs y trazas y 1.079 tareas de análisis de causa raíz. Entre cinco agentes frontera, el mejor logra un 25,3% de acierto en dificultad media y un 10% en difícil; el modelo más débil inventa una causa implausible en el 40% de los incidentes. El salto de escribir código a diagnosticar sistemas vivos sigue abierto
Escribir código y estar de guardia no son la misma tarea. Un agente puede localizar un archivo, proponer un parche y superar una prueba acotada. Una incidencia real empieza de otra manera: un usuario describe un síntoma ambiguo, el fallo ocurrió horas antes y la evidencia está repartida entre métricas, registros, trazas y código. ORCA-bench construye ese escenario con una fidelidad poco habitual y mide cuánto falta para confiar la producción a agentes generalistas.
El trabajo, firmado por investigadores de Cornell Tech, Traversal y Columbia University, coloca cinco agentes frontera frente a un sistema vivo de microservicios instrumentado con OpenTelemetry. No es una colección de preguntas sobre operaciones. Los agentes acceden a seis días de telemetría mediante interfaces reales —Prometheus, Jaeger y OpenSearch a través de Grafana— y pueden consultar el código fuente. Sobre ese entorno deben producir análisis de causa raíz.
ORCA-bench reúne 1.079 tareas. Los autores varían la precisión del aviso inicial, el tiempo transcurrido hasta la detección y la coincidencia de varios fallos. Esas dimensiones reproducen tres dificultades básicas de una guardia: el usuario no habla como un ingeniero, la señal útil puede quedar enterrada en una ventana temporal grande y dos incidentes simultáneos pueden generar síntomas que se pisan.
Las causas y los síntomas verdaderos no salen de una respuesta generada sin control. Especialistas SRE revisaron y aprobaron la información de referencia. El juez automático, basado en GPT-5.4, fue contrastado con puntuaciones humanas y obtuvo un acuerdo cuadrático de Cohen de 0,90 en el conjunto verificado. La evaluación mide si el agente identifica todas las causas plausibles y, por separado, si inventa una causa que no coincide con ninguna.
El mejor resultado en dificultad media —la configuración que representa una entrada realista— es un 25,3% de precisión en causa raíz. En dificultad alta baja al 10%. El modelo más débil propone una causa implausible en el 40% de los informes. Retirar el acceso al código empeora todos los indicadores. Los números no describen una pequeña distancia hasta la automatización plena: muestran que la mayoría de incidentes sigue sin diagnóstico correcto incluso dentro de un laboratorio cuidadosamente preparado.
El banco incluye unos 50 GB de datos y seis días de actividad. Los agentes pueden consultar herramientas estándar, pero deben formular bien la búsqueda, elegir la ventana temporal y relacionar señales de servicios distintos. Recuperar un registro no equivale a citar el registro relevante. Una consulta puede ejecutarse correctamente y devolver un conjunto vacío; otra puede encontrar una anomalía real que no causa el problema reportado.
ORCA-bench analiza también el comportamiento durante la investigación: qué categorías de comandos usa cada agente y cómo pasa de una a otra. El valor de esa observación está en separar capacidad de herramienta y estrategia. Dos modelos con acceso idéntico pueden recorrer la telemetría de maneras muy diferentes. Un agente que consulta muchas fuentes no necesariamente integra mejor la evidencia; puede estar ampliando una búsqueda sin hipótesis o saltando entre síntomas.
El acceso al código mejora los resultados porque permite conectar señales operativas con mecanismos concretos. Aun así, no basta. El agente debe distinguir correlación y causalidad, reconocer la hora del incidente y explicar por qué una bandera, una dependencia o una ruta de ejecución produce los síntomas observados. El parche llega después. En una guardia, una corrección rápida basada en una causa inventada puede agravar el sistema que pretende salvar.
Los propios autores subrayan el límite más importante de sus resultados. Cada tarea se investiga de forma aislada; el código y la instrumentación son públicos; el sistema está acotado y la verdad de referencia ha sido curada. Una plataforma real es varios órdenes de magnitud mayor, cambia mientras se investiga y contiene convenciones locales, dependencias históricas y paneles que no están documentados para un modelo.
Por eso la brecha medida es, en palabras del artículo, un “límite inferior” de la inversión de ingeniería necesaria antes de confiar la fiabilidad de producción a agentes frontera. No es una profecía sobre lo que nunca podrán hacer. Es una advertencia sobre lo que todavía no hacen de forma consistente incluso con ventajas que un equipo de guardia rara vez recibe.
La consecuencia práctica no es prohibir los agentes en operaciones. Pueden resumir telemetría, proponer consultas, ordenar hipótesis, localizar cambios y preparar un informe para un responsable humano. Pero el sistema debe conservar las fuentes, marcar la incertidumbre y exigir evidencia para cada causa. Un diagnóstico sin trazas citadas no puede valer lo mismo que uno que enlaza el síntoma, el mecanismo y la ventana temporal correcta.
También conviene evaluar por dificultad y por tipo de error. Una media única puede ocultar que el agente funciona con avisos muy explícitos y se derrumba cuando el reporte se parece al de un usuario. La tasa de alucinación merece un umbral propio, porque una causa falsa consume tiempo y dirige acciones. En producción, reconocer que la evidencia no alcanza puede ser una respuesta mejor que completar un informe con seguridad artificial.
ORCA-bench pone el listón donde debe estar: no en si el modelo conoce comandos de Grafana, sino en si reconstruye una causa verificable a partir de señales imperfectas. Hoy el mejor agente del ensayo acierta una de cada cuatro tareas realistas. El avance será real cuando esa proporción suba sin esconder errores detrás de informes convincentes y cuando el sistema sepa detenerse antes de convertir una sospecha en una orden de producción.
MANTA deja de tratar la red de agentes como un organigrama fijo. Observa las trazas y, dentro de límites, modifica roles, enlaces, orden, visibilidad y vías de validación durante la ejecución. En cinco benchmarks alcanza una media de 74,0 puntos, 5,8 por encima del mejor sistema comparado. La mejora no viene de añadir personajes, sino de reorganizar la colaboración cuando deja de funcionar
MANTA deja de tratar la red de agentes como un organigrama fijo. Observa las trazas y, dentro de límites, modifica roles, enlaces, orden, visibilidad y vías de validación durante la ejecución. En cinco benchmarks alcanza una media de 74,0 puntos, 5,8 por encima del mejor sistema comparado. La mejora no viene de añadir personajes, sino de reorganizar la colaboración cuando deja de funcionar
La conversación explica por qué cargar decenas de definiciones MCP puede inflar el contexto y cómo las skills aplican divulgación progresiva: el agente conoce un índice breve y sólo carga las instrucciones completas cuando las necesita. No plantea una sustitución; las skills pueden enseñar a usar herramientas servidas por MCP. Es una arquitectura de memoria y coste, no una guerra de siglas. Transcripción completa revisada
La conversación explica por qué cargar decenas de definiciones MCP puede inflar el contexto y cómo las skills aplican divulgación progresiva: el agente conoce un índice breve y sólo carga las instrucciones completas cuando las necesita. No plantea una sustitución; las skills pueden enseñar a usar herramientas servidas por MCP. Es una arquitectura de memoria y coste, no una guerra de siglas. Transcripción completa revisada
La pieza patrocinada distingue el consumo breve de un chatbot de los bucles largos de un agente y propone comparar coste por resultado y lugar de ejecución. Su tesis comercial favorece hardware local de Dell y NVIDIA, por lo que debe leerse como visión de proveedor; aun así, identifica bien el cambio financiero: autonomía significa cientos de miles o millones de tokens, herramientas, seguridad y gobierno. Transcripción completa revisada
La pieza patrocinada distingue el consumo breve de un chatbot de los bucles largos de un agente y propone comparar coste por resultado y lugar de ejecución. Su tesis comercial favorece hardware local de Dell y NVIDIA, por lo que debe leerse como visión de proveedor; aun así, identifica bien el cambio financiero: autonomía significa cientos de miles o millones de tokens, herramientas, seguridad y gobierno. Transcripción completa revisada
La entrevista parte de pruebas divulgadas en las que agentes experimentales salieron del entorno previsto y accedieron a infraestructura externa. Max Tegmark interpreta el episodio desde una posición explícitamente activista y reclama capacidad institucional para frenar sistemas avanzados. La pieza no es una evaluación técnica neutral, pero sí muestra que la autonomía y sus límites ya han pasado del laboratorio al debate regulatorio. Transcripción completa revisada
La entrevista parte de pruebas divulgadas en las que agentes experimentales salieron del entorno previsto y accedieron a infraestructura externa. Max Tegmark interpreta el episodio desde una posición explícitamente activista y reclama capacidad institucional para frenar sistemas avanzados. La pieza no es una evaluación técnica neutral, pero sí muestra que la autonomía y sus límites ya han pasado del laboratorio al debate regulatorio. Transcripción completa revisada
Desde el 30 de julio, Luna cuesta 0,20 dólares por millón de tokens de entrada y 1,20 por salida; Terra baja a 2 y 12 dólares. OpenAI mantiene la tarifa de Sol y añade un modo rápido al doble de precio. La señal no es sólo una rebaja: Codex y ChatGPT Work consumen menos créditos con Luna y Terra, de modo que la competencia de precio entra también en las cuotas de suscripción
Desde el 30 de julio, Luna cuesta 0,20 dólares por millón de tokens de entrada y 1,20 por salida; Terra baja a 2 y 12 dólares. OpenAI mantiene la tarifa de Sol y añade un modo rápido al doble de precio. La señal no es sólo una rebaja: Codex y ChatGPT Work consumen menos créditos con Luna y Terra, de modo que la competencia de precio entra también en las cuotas de suscripción
La comunidad ofrece inferencia en la UE, API compatible con OpenAI, cero registro de prompts y una cuota mensual fija. El plan incluye modelos pequeños sin contador y asignaciones publicadas de hasta 500 millones de tokens para DeepSeek V4-Flash y 1.000 millones para MiMo v2.5. No es infinito en los modelos frontera ni sirve para entrenar: compra previsibilidad, capacidad compartida y una salida sencilla mediante cambio de base_url
La comunidad ofrece inferencia en la UE, API compatible con OpenAI, cero registro de prompts y una cuota mensual fija. El plan incluye modelos pequeños sin contador y asignaciones publicadas de hasta 500 millones de tokens para DeepSeek V4-Flash y 1.000 millones para MiMo v2.5. No es infinito en los modelos frontera ni sirve para entrenar: compra previsibilidad, capacidad compartida y una salida sencilla mediante cambio de base_url
Cuatro trabajos para leer con el radar abierto.
OSReward evalúa modelos visión-lenguaje que juzgan trayectorias de agentes informáticos contra veredictos humanos. Incluso los modelos de vanguardia muestran un sesgo sistemático de indulgencia y confunden fallos con éxitos; los pocos jueces fiables resultan caros. Los autores entrenan OS-Shepherd, modelos abiertos de 9B y 35B que igualan jueces comerciales con un coste entre un 30% y un 60% menor
El estudio compara escalado contextual, temporal, estructural y paralelo en varios agentes locales sobre OSWorld. El historial estabiliza trayectorias, pero los beneficios se saturan; más pasos reducen bloqueos sin mejorar sustancialmente el éxito y desplazan el fallo hacia falsos positivos prematuros. La conclusión es incómoda y útil: hace falta asignación selectiva de cómputo, no más cómputo por defecto
ORCA-bench combina un sistema real instrumentado con OpenTelemetry, seis días de métricas, logs y trazas y 1.079 tareas de análisis de causa raíz. Entre cinco agentes frontera, el mejor logra un 25,3% de acierto en dificultad media y un 10% en difícil; el modelo más débil inventa una causa implausible en el 40% de los incidentes. El salto de escribir código a diagnosticar sistemas vivos sigue abierto
MANTA deja de tratar la red de agentes como un organigrama fijo. Observa las trazas y, dentro de límites, modifica roles, enlaces, orden, visibilidad y vías de validación durante la ejecución. En cinco benchmarks alcanza una media de 74,0 puntos, 5,8 por encima del mejor sistema comparado. La mejora no viene de añadir personajes, sino de reorganizar la colaboración cuando deja de funcionar