permite entrenar con RL agentes que usan arneses reales y entornos con herramientas, navegador o interfaz gráfica; la mejora aparece en verificación y planes largos, mientras la recuperación de errores sigue marcando el límite práctico
Durante años hemos hablado del modelo como si fuera el agente entero. No lo es. Cuando un sistema programa, navega o administra una máquina, el modelo trabaja dentro de un arnés que decide qué herramientas ve, cómo recibe sus resultados, cuánto contexto conserva y cuándo considera terminada una tarea. OpenForgeRL, un trabajo de Columbia University, Dartmouth College y Microsoft Research, propone entrenar al agente dentro de ese entorno real. La idea parece obvia hasta que se intenta ejecutar: los arneses modernos son procesos con estado, terminales, navegadores, reinicios y llamadas encadenadas, mientras muchas pilas abiertas de entrenamiento esperan intercambios mucho más limpios.
El marco separa dos problemas que normalmente llegan pegados. Un proxy ligero atiende las llamadas que el arnés hace al modelo y las registra en el formato que necesita una pila estándar de aprendizaje por refuerzo, como veRL. A la vez, un orquestador sobre Kubernetes lanza cada rollout en un contenedor remoto independiente. El entrenamiento puede ocurrir en una infraestructura y la ejecución del arnés en otra. Esa separación permite conservar Claude Code, Codex, OpenClaw, un navegador o un agente de interfaz gráfica tal como se comportan en producción, sin reescribirlos como una simulación empobrecida para que quepan en el entrenador.
El cambio no consiste en enseñar una herramienta aislada. Un agente de código debe abrir archivos, entender instrucciones, editar, ejecutar pruebas, interpretar fallos y decidir si necesita otra vuelta. Uno de navegador debe coordinar percepción visual, clics y comprobaciones sobre páginas cambiantes. La recompensa final llega tarde y no explica qué decisión intermedia estropeó el trabajo. OpenForgeRL captura la trayectoria que ocurre dentro del arnés y permite optimizarla de extremo a extremo. En lugar de preparar al modelo con ejercicios abstractos y conectarlo después a una fábrica que nunca ha visto, lo entrena con el ruido, la latencia y las restricciones de esa fábrica.
Los autores prueban el marco en dos familias. OpenForgeClaw opera con agentes basados en herramientas y arneses de tipo claw; alcanza 31,7 en pass³ y 55,9 en pass@3 sobre ClawEval, además de 33,7 en QwenClawBench. OpenForgeGUI trabaja con navegador y control de ordenador: obtiene 37,7 en OSWorld-Verified, 63,0 en Online-Mind2Web y 72,3 en WebVoyager. Según el artículo, ambos superan casi siempre a bases abiertas de tamaño comparable y, en tareas gráficas, igualan o rebasan modelos varias veces mayores. Son resultados del propio equipo y necesitarán reproducción independiente, pero la comparación apunta a una conclusión útil: mejorar el entrenamiento situado puede rendir más que aumentar parámetros sin cambiar el entorno.
El volumen también importa. Los avances aparecen con cientos o pocos miles de tareas, no con un corpus ilimitado. El agente mejora la autoverificación, cubre más herramientas necesarias y termina con mayor frecuencia planes de varios pasos. Es precisamente el tipo de progreso que se pierde cuando se mide solo la calidad de la siguiente respuesta. Un sistema puede escribir una explicación impecable y aun así olvidar ejecutar el test que demostraría que su parche funciona. El aprendizaje dentro del arnés convierte esa omisión en parte observable de la conducta.
El paper evita vender una victoria completa. La recuperación ante errores continúa débil. Cuando una herramienta devuelve una salida extraña, una página cambia o una acción deja el entorno en un estado imprevisto, el agente todavía tiene dificultades para diagnosticar el desvío y construir una ruta alternativa. El aprendizaje refuerza secuencias que suelen funcionar, pero no garantiza criterio ante todos los callejones nuevos. Esta limitación separa fiabilidad de autonomía: hacer mejor el recorrido conocido no equivale a saber reparar cualquier recorrido roto.
También aparece una variable que solemos tratar como invisible: el arnés tiene una dificultad propia. ZeroClaw, OpenClaw y Codex no son recipientes neutros; ofrecen acciones, señales y convenciones distintas. El estudio observa que algunos resultan sustancialmente más difíciles de aprender. Un arnés que devuelve toneladas de texto, oculta el estado relevante o no formula una condición clara de terminado puede desperdiciar capacidad del modelo. Otro que expone pruebas, permisos y consecuencias de cada herramienta facilita tanto la ejecución como el entrenamiento. El diseño de interfaz para agentes empieza a parecerse al diseño de maquinaria: una mala botonera puede convertir un buen operario en un riesgo.
La misma observación complica la comparación entre productos. Dos agentes que usan un modelo parecido pueden obtener resultados distintos porque uno dispone de mejores herramientas o recibe una señal de error más clara. Y un modelo que gana en un benchmark bajo un arnés puede perder la ventaja cuando se cambia el bucle de ejecución. Informar únicamente del nombre del modelo oculta qué parte del rendimiento pertenece a la política aprendida, cuál al entorno y cuál a las decisiones del equipo que construyó la integración.
La lectura práctica no es que todo equipo deba desplegar Kubernetes y entrenar su propio modelo mañana. Es que evaluar un agente fuera de su arnés deja fuera una parte decisiva del producto. Las pruebas deberían reproducir las herramientas, permisos, datos y fallos reales; registrar trayectorias completas; medir verificación, cobertura de herramientas y recuperación, no únicamente el resultado final. Cuando se cambie de modelo o de arnés, conviene tratarlo como un cambio de sistema, porque la misma inteligencia puede comportarse de otro modo bajo señales diferentes.
OpenForgeRL desplaza así la frontera desde el modelo aislado hacia el conjunto que lo hace trabajar. Si el código, los datos y los modelos anunciados se publican como promete el equipo, el marco ofrecerá una vía abierta para estudiar esa interacción con más rigor. La noticia dominical no es una nueva caja negra que presume de saber más. Es una infraestructura que permite observar qué aprende un agente cuando deja el gimnasio y entra, por fin, en el taller donde tendrá que responder por sus actos.