Los agentes LLM de vanguardia demuestran capacidades notables para generar directamente acciones de manipulación robótica. Mediante ensayo y error iterativos, mejoran continuamente su capacidad de manipulación actualizando habilidades, generando código y usando herramientas. A este proceso lo llamamos auto-mejora recursiva física, o RSI física. En lugar de seguir demostrando las capacidades de los agentes LLM de vanguardia, este trabajo plantea tres preguntas fundamentales: ¿Cuál es el origen de las capacidades de RSI física? ¿Qué leyes de escalado rigen este proceso? ¿Las mejoras resultantes reflejan sobreajuste o generalización?
¿Qué permite a un agente convertir la retroalimentación física en una política mejor? La percepción le ayuda a interpretar los resultados, el razonamiento espacial relaciona las observaciones con las acciones, y la programación y el uso de un entorno de ejecución le permiten implementar y probar revisiones. Estas capacidades pueden desempeñar funciones diferentes. Nos preguntamos si las fortalezas que explican un buen primer intento también explican la mejora tras recibir retroalimentación.
Presentamos PhysRSI-eval para estudiar estas preguntas mediante un protocolo común. Seis sistemas revisan código, herramientas y notas persistentes en 18 tareas de manipulación, con los pesos del modelo congelados y un presupuesto fijo de interacción física. Gemini 4 se presenta por separado en diez tareas.
Una comparación exploratoria de cuatro perfiles públicos de capacidades en las 18 tareas relaciona el razonamiento espacial, sobre todo, con el rendimiento inicial, y la percepción con el rendimiento alcanzado y la recuperación. Este patrón motiva la Hipótesis del barril físico: la capacidad que limita a un agente puede depender del aspecto de la mejora que midamos. Empezar bien y aprender del fracaso pueden requerir fortalezas distintas. Estas asociaciones apuntan a posibles cuellos de botella, no a requisitos causales.
PhysRSI-eval: diseño del benchmark
PhysRSI-eval hace medibles las tres preguntas al registrar tanto los intentos físicos como el espacio de trabajo que se conserva entre ellos. La secuencia de intentos revela dónde empieza un agente y cómo progresa con un presupuesto fijo. Las intervenciones en el espacio de trabajo comprueban qué conservan los agentes y si eso se transfiere.
¿Qué debe distinguir el benchmark?
Un primer intento sólido y una revisión útil son capacidades distintas. Por ello, puntuamos por separado una línea de base del primer intento y hacemos un seguimiento de los intentos posteriores con un presupuesto fijo. Las puntuaciones por ronda muestran cuándo se producen las mejoras; los pasos físicos contabilizados muestran cuánto cuestan. Alcanzar una puntuación alta, alcanzarla pronto y usar menos interacciones son resultados diferentes.
El éxito por sí solo no indica si el agente ha acumulado experiencia útil. El código, las herramientas y las notas deben seguir estando disponibles para intervenir. Borrar el espacio de trabajo comprueba si la experiencia conservada ayuda; congelarlo en configuraciones no vistas comprueba si sigue siendo útil; transferirlo a tareas nuevas comprueba si puede servir para un objetivo diferente. Presentamos estas pruebas por separado de los perfiles principales en la Sección 6.
Un ciclo controlado de intentos físicos
Los pesos del modelo permanecen fijos, mientras que las habilidades, las herramientas, el código de la política y la memoria pueden cambiar en un espacio de trabajo persistente. Cada revisión se prueba mediante un intento físico evaluado. Esto relaciona los cambios en el espacio de trabajo con un resultado observado y un coste físico.
K0 mide el punto de partida sin un espacio de trabajo persistente. Cada tarea se ejecuta tres veces mediante las herramientas robóticas compartidas y se promedian sus puntuaciones. En K1, el agente recibe un espacio de trabajo Harness vacío, salvo por las herramientas del anfitrión, de solo lectura. En cada ronda se ejecuta un intento físico y se devuelve la puntuación nativa, el indicador de éxito y el motivo del fallo. A continuación, el agente revisa su espacio de trabajo con las acciones robóticas desactivadas y lo confirma para la ronda siguiente. La evaluación principal permite como máximo un número fijo no especificado de rondas de refinamiento por tarea y se detiene en el primer éxito nativo.
Ambas etapas comparten la interfaz robótica. K1 también incorpora herramientas del espacio de trabajo y ejecución de programas, por lo que la mejora de K0 a K1 combina cambios de interfaz con mejoras. Por ello, estudiamos las rondas de Harness como el segmento de auto-mejora. Cada ronda permite 4,200 segundos de razonamiento; la revisión dura hasta 1,800 segundos para los sistemas GPT y 600 segundos para los sistemas Claude.
Para la agregación, las tareas resueltas conservan la puntuación 1 después de detenerse, sin más ejecuciones. Las tareas no resueltas conservan sus puntuaciones actuales, incluidas las regresiones. Los intentos adicionales cuentan para el presupuesto físico, pero no añaden rondas de puntuación. Nueve registros de GPT-5.6 Sol en Harness resumen dos ejecuciones observadas. El protocolo de tres repeticiones de K0 se aplica a los seis sistemas.
Tareas de distintos niveles de dificultad
Evaluamos seis sistemas: GPT-6 Astra, GPT-6.1 Sol, GPT-6 Sol, GPT-5.6 Sol, Claude Opus 5.5 y Claude Sonnet 5.5. Cada sistema consta de un modelo y su configuración de ejecución, que también puede afectar al rendimiento. En un experimento aparte, sin pistas complementarias, Astra resuelve 13 tareas, frente a las 15 de la evaluación principal. Los resultados de estas condiciones se presentan por separado.
Gemini 4 se presenta en una ejecución parcial independiente que cubre diez tareas hasta K20, de las cuales resuelve seis. Sus puntuaciones medias reportadas son 0.050 en K0 y 0.48 en K10. Su perfil de cinco ejes se calcula sobre estas diez tareas. Como el conjunto de tareas difiere del protocolo principal de 18 tareas, se excluye de los análisis de asociación y predicción basados en el benchmark.
Un perfil de mejora de cinco ejes
Para estudiar cómo escala la RSI física, necesitamos algo más que una puntuación final. El perfil de cinco ejes separa el punto de partida del momento en que se producen las mejoras, la puntuación alcanzada, el ahorro en el presupuesto físico y la recuperación tras un fallo. Cada eje mide un aspecto distinto de la mejora.
¿Qué tan bien se desempeña el agente en su primer intento? La puntuación del primer intento es la media de las puntuaciones K0, promediadas en tres ejecuciones por tarea y luego entre tareas, incluido el progreso parcial.
¿De dónde provienen las capacidades de RSI física?
¿Qué permite que la retroalimentación física se convierta en una revisión útil de la política? Actuar, interpretar un resultado e implementar un cambio pueden depender de capacidades distintas. Usamos el perfil de cinco ejes para preguntar si las capacidades asociadas a un primer intento sólido también se relacionan con una mejora eficaz.
¿Qué capacidades se relacionan con la RSI física?
Obtener buenas puntuaciones de programación por sí solo no garantiza una mejora física. GPT-5.6 Sol supera a GPT-6 Astra en generación y finalización de código en LiveBench, pero resuelve una de las 18 tareas, mientras que Astra resuelve 15.
El análisis exploratorio utiliza seis sistemas en las 18 tareas. Agrupamos 17 puntuaciones de benchmarks públicos en las categorías Espacial, Harness, Percepción y Programación, y luego comparamos sus posiciones con A1–A5.
La hipótesis del barril físico
El patrón motiva la Hipótesis del barril físico: distintos aspectos de la mejora pueden tener diferentes cuellos de botella en cuanto a capacidades. El razonamiento espacial puede ser más importante para empezar bien, mientras que la percepción puede ser más relevante para interpretar los fallos y recuperarse de ellos. Según esta hipótesis, una buena capacidad de programación no siempre puede compensar una debilidad en otro ámbito. Sus asociaciones débiles no implican que la programación sea innecesaria; aquí todos los sistemas usan código.
Estas asociaciones identifican posibles cuellos de botella que pueden ponerse a prueba directamente mediante intervenciones específicas sobre las capacidades.
Estos posibles cuellos de botella conducen a la segunda pregunta: ¿cómo podemos cuantificar la RSI física y su escalado en función de las capacidades del modelo y del presupuesto de interacción?
¿Cómo se pueden cuantificar la RSI física y su ley de escalado?
¿Cuánto puede mejorar un agente, cuándo se producen sus principales avances y cuánta interacción necesita? El perfil de cinco ejes convierte estas preguntas en resultados medibles. Primero cuantificamos las diferencias entre agentes y luego estudiamos cómo escalan estos resultados en función de las capacidades del modelo y del presupuesto de interacción física.
Escalado observacional entre capacidades de los modelos
¿Pueden las puntuaciones públicas de capacidades anticipar la mejora física antes de ejecutar la evaluación completa? Esta es la pregunta entre modelos sobre el escalado observacional. Además de correlacionar las capacidades con los resultados, un predictor debe situar un sistema no visto utilizando únicamente las relaciones observadas en otros sistemas.
¿Qué puede predecir la retroalimentación física temprana?
Una vez que comienza la interacción física, ¿puede el progreso inicial predecir mejoras posteriores? Los seis sistemas alcanzan sus períodos de puntuación alta en momentos distintos. La primera ronda que alcanza el 90% de la mejora máxima es K9 para Astra, K7 para GPT-6.1 Sol, K15 para Opus, K13 para Sonnet y K17 para GPT-6 Sol y GPT-5.6 Sol. Pronosticar las rondas posteriores permite comprobar si una trayectoria breve contiene información útil sobre la mejora continuada.
Estos análisis abordan la magnitud y el momento de la mejora. A continuación, nos preguntamos qué representan esos avances: ¿adaptación al entorno de refinamiento o experiencia que sigue siendo útil en otros contextos?
¿La RSI física refleja sobreajuste o generalización?
Con los pesos del modelo fijos, la generalización se refiere al código, las herramientas y las notas que conserva el agente. ¿Codifican procedimientos reutilizables o se especializan en el entorno de refinamiento? Primero comprobamos si la experiencia conservada ayuda más allá de los intentos repetidos. Después evaluamos espacios de trabajo congelados en configuraciones no vistas y los transferimos a tareas nuevas.
¿Ayuda la experiencia conservada más allá de los intentos repetidos?
En las condiciones restantes se retiran canales individuales. Retirar la retroalimentación del evaluador provoca la mayor caída, hasta 5/36 (13.9%), y retirar las imágenes de rondas anteriores da como resultado 12/36 (33.3%). Conservar solo el espacio de trabajo y la retroalimentación del evaluador da 17/36 (47.2%), por lo que las imágenes y los registros de acciones anteriores aportan poco si se mantienen estos dos canales. El control sin historial respalda la función de la experiencia conservada, pero deja abierta la pregunta de si esa experiencia es específica del entorno de refinamiento.
¿Qué se conserva cuando se detienen las revisiones?
Para comprobar si los artefactos almacenados sirven más allá de la práctica, congelamos los espacios de trabajo de Astra después de K6 y probamos cada uno en cinco configuraciones no vistas, sin más revisiones ni retroalimentación sobre los resultados. En 12 fuentes, los archivos del espacio de trabajo por sí solos tienen éxito en 25/60 pruebas (41.7%). Añadir los registros sin procesar anteriores da 23/60 (38.3%). Los artefactos almacenados siguen siendo útiles cuando cambia la configuración, mientras que estas estimaciones puntuales no muestran ningún beneficio por exponer el historial sin procesar durante las pruebas.
Los espacios de trabajo de origen con configuración fija alcanzan 27/60 (45.0%) en configuraciones de prueba reservadas, frente al 14/16 (88%) reportado en su propia configuración. Los distintos denominadores impiden una interpretación emparejada. Aun así, la comparación sugiere que pueden coexistir las mejoras específicas de la escena y la experiencia transferible. Estas pruebas establecen cierta utilidad entre escenas para Astra en este subconjunto de tareas; no demuestran generalización en todos los sistemas.
¿Puede la experiencia ayudar en una tarea diferente?
Los rastros de cinco modelos sugieren dos formas de experiencia reutilizable: rutinas ejecutables y conocimiento operativo textual. Sonnet 5.5 y Opus 5.5 codifican cada vez más el control en herramientas escritas por ellos mismos, que generan más del 96% de sus acciones en las rondas posteriores. GPT-6 Sol también crea una biblioteca considerable de herramientas, pero estas generan el 67% de las acciones y el modelo genera directamente el 33%. Estos porcentajes miden la dependencia de las herramientas.
Astra y GPT-6.1 Sol siguen un patrón distinto. Aproximadamente el 99% de sus acciones siguen siendo generadas directamente por el modelo. Utilizan un número muy reducido de herramientas para verificar, pero su tiempo de razonamiento disminuye a lo largo de las rondas. Los rastros de acceso a archivos muestran un uso reiterado de la memoria, las habilidades y las notas de política para recuperar acciones exitosas y soluciones a subtareas, diagnosticar fallos y orientar las revisiones. Estas observaciones sugieren que tanto las rutinas ejecutables como el conocimiento operativo retenido pueden reducir la necesidad de repetir razonamientos.
También encontramos que los análisis del espacio de trabajo y de la generalización concuerdan con la Hipótesis del barril de RSI física en sus cuatro factores de capacidad: razonamiento espacial, percepción, programación y operación del entorno Harness. Las herramientas espaciales representan el 14.5% de las llamadas a herramientas de Sonnet y el 13.7% de las de Opus: 408 de 2,819 llamadas y 183 de 1,332 llamadas, respectivamente. Astra realiza solo siete llamadas a herramientas, incluida una a una herramienta de este tipo, es decir, el 14%. La dependencia mínima de Astra respecto de estos módulos sugiere capacidades perceptivas y espaciales intrínsecas más sólidas. Sonnet y Opus reutilizan repetidamente estos módulos en distintas tareas, lo que sugiere que dependen más de las herramientas para compensar las limitaciones de estas capacidades.
Durante la transferencia entre tareas, los agentes también consultan memoria y habilidades de tareas semánticamente similares. En Organizar la mesa, Opus combina una herramienta de movimiento parametrizada de Empaquetar objetos en una caja con una memoria de Guardar herramientas en la caja de herramientas: «el agarre INCLINADO de 30 deg… alcanza la mitad +y…». La herramienta proporciona una operación, mientras que la memoria identifica una orientación de agarre que amplía su alcance. Esto muestra cómo un procedimiento reutilizable y el conocimiento de cuándo funciona pueden respaldar conjuntamente la transferencia.
Los rastros de transferencia sugieren que las mejoras de rendimiento dependen de que la experiencia sea pertinente para el cuello de botella de la tarea objetivo y de que el agente pueda evaluar su aplicabilidad a partir de la evidencia de los fallos. La similitud semántica ayuda a identificar experiencias posibles; la evidencia de los fallos orienta la decisión de reutilizarlas, adaptarlas o descartarlas. El avance ilustra este mecanismo mediante la reutilización de una rutina de agarre y transferencia en bucle cerrado, desde apilar bloques hasta cubrirlos con un vaso, y de una rutina de inserción, desde insertar una llave hasta enchufar un cargador.
Limitaciones
La comparación principal abarca seis sistemas de modelo más configuración, con una cadena de mejora por tarea. Las repeticiones de K0 no estiman la variabilidad entre cadenas completas. La detención tras el primer éxito registra un éxito; la ejecución repetida fiable requiere una prueba aparte. Presupuesto y Mejora utilizan conjuntos de tareas condicionales que difieren entre sistemas. Los resultados de Astra difieren entre la evaluación principal y el experimento sin pistas complementarias.
El análisis de capacidades se basa en puntuaciones de benchmarks públicos cuyas condiciones de evaluación difieren de las de nuestras ejecuciones, y abarca seis sistemas sin validación independiente. Por tanto, los cuellos de botella de capacidades y las predicciones sobre el momento de las mejoras siguen siendo hipótesis que deben ponerse a prueba. Los estudios de ablación y congelación abarcan Astra y seis tareas, mientras que los resultados entre tareas corresponden a tres casos de primera ejecución. Estas limitaciones restringen el alcance de la transferencia observada y de los mecanismos que pueden inferirse.
Conclusión
PhysRSI-eval estudia los orígenes, la medición, el escalado y la generalización de la RSI física bajo un presupuesto fijo de interacción. Las asociaciones con las capacidades motivan la Hipótesis del barril físico: las fortalezas necesarias para empezar bien pueden diferir de las necesarias para mejorar. La métrica de cinco ejes hace explícitos estos resultados y muestra que las puntuaciones altas, las mejoras tempranas y la eficiencia de interacción no tienen por qué coincidir. La predicción entre modelos y los pronósticos de las primeras rondas exploran cómo varían estos resultados según las capacidades y el presupuesto de interacción. Las intervenciones en el espacio de trabajo respaldan la función de la experiencia retenida y muestran que puede seguir siendo útil en nuevas configuraciones y tareas. Por tanto, la RSI física puede implicar tanto adaptación específica a la escena como reutili…
Preguntas frecuentes
¿Qué es la auto-mejora recursiva física? Es el proceso mediante el cual un agente mejora su capacidad de manipulación a través del ensayo y error iterativo, actualizando habilidades, código y herramientas.
¿Qué está diseñado para medir PhysRSI-eval? Mide el rendimiento inicial y la mejora a lo largo de intentos físicos, y también evalúa qué conservan los agentes y si eso se transfiere.
¿Qué plantea la Hipótesis del barril físico? Distintos aspectos de la mejora física pueden tener diferentes cuellos de botella en cuanto a capacidades; el razonamiento espacial puede ser más importante para empezar bien, mientras que la percepción puede ser más relevante para interpretar los fallos y recuperarse.
¿Se generaliza la experiencia conservada más allá de los intentos repetidos? En las pruebas aquí presentadas, los espacios de trabajo congelados de Astra siguieron siendo útiles en configuraciones no vistas, y los rastros de transferencia entre tareas mostraron la reutilización de herramientas y conocimiento operativo.