Un modelo de razonamiento para robots aprende en simulación y se transfiere al hardware

Un modelo de razonamiento para robots aprende en simulación y se transfiere al hardware

Jiaming Tang, Zhuoyang Zhang, Junxian Guo, Fangzhou Zhao, Yilong Zhao +6 más

9 min de lectura•16 nov 2026

Un modelo de razonamiento de pesos abiertos y 27 mil millones de parámetros aprendió habilidades robóticas en simulación y luego completó 18 de 30 pruebas en un robot real de dos brazos en el que nunca había sido entrenado. El enfoque mantiene la cinemática inversa y el control del movimiento fuera del modelo de lenguaje, de modo que la misma interfaz de acciones basada en poses puede pasar de plataformas simuladas de uno y dos brazos al hardware sin ajuste fino con datos de robots reales.

Índice

¿Qué desarrollaron los investigadores?

El equipo entrenó un modelo de razonamiento para usar robots mediante aprendizaje por refuerzo en simulación. En lugar de controlar directamente los motores, el modelo debe elegir una pose objetivo para el efector final del robot, es decir, el punto situado al final del brazo, como una pinza. Un controlador de robot independiente convierte ese objetivo en los movimientos articulares necesarios para alcanzarlo.

Esta separación crea una interfaz de acciones común para distintas máquinas. Los investigadores utilizaron tareas simuladas con un robot Franka de un brazo y un robot ARX de dos brazos, y después desplegaron el modelo entrenado en un robot YAM real de dos brazos. Para cada máquina, el prompt describe las partes del robot, el sistema de coordenadas y las cámaras. El software de cinemática inversa y el controlador existentes en el robot gestionan el movimiento físico.

El modelo partió de Qwen3.8-27B, un modelo de razonamiento de pesos abiertos. El entrenamiento utilizó los resultados de tareas simuladas, no demostraciones de personas operando robots. La prueba central de los investigadores consistía en determinar si las habilidades aprendidas en simulación podían transferirse no solo a tareas que el modelo no había practicado, sino también a otro simulador y a un robot real. Según informan, el despliegue en el robot real no requirió entrenamiento adicional con datos de robots reales.

Resumen del ciclo de entrenamiento y evaluación del modelo de uso de robots

¿Qué resultados obtuvo el modelo?

El resultado más destacado fue el despliegue sin entrenamiento adicional en el YAM real: el modelo final tuvo éxito en 18 de 30 pruebas, mientras que el modelo base no tuvo éxito en ninguna. Un punto de control del modelo entrenado únicamente con la simulación de LIBERO tuvo éxito en 7 de 30 pruebas con el robot real, pese a no haber visto esas tareas ni ese robot. En este caso, «sin entrenamiento adicional» significa que se probó el modelo sin entrenarlo con el nuevo robot.

El modelo también transfirió habilidades entre entornos de simulación. Tras entrenarse únicamente con LIBERO, alcanzó una tasa de éxito del 39.9% en la tarea de recogida general de RoboDojo y del 17.0% en alineación de bloques, frente al 10.7% y el 13.0% del modelo base, respectivamente. El entrenamiento con tareas adicionales de RoboDojo elevó la tasa de éxito informada para esas tareas al 75.0%.

EvaluaciónModelo baseModelo entrenadoQué cambió
Pruebas con el YAM real de dos brazos0/3018/30El modelo final se probó sin entrenamiento con robots reales
Pruebas con el YAM real, punto de control entrenado solo con LIBERO—7/30Transferencia de la simulación a hardware no visto
Recogida general de RoboDojo, entrenamiento solo con LIBERO10.7%39.9%Transferencia a otro simulador y robot
Alineación de bloques de RoboDojo, entrenamiento solo con LIBERO13.0%17.0%Transferencia a otro simulador y robot
LIBERO-Long sin entrenamiento directo0.4%39.0%Transferencia desde otros conjuntos de tareas de LIBERO
LIBERO-Long tras incorporarlo al entrenamiento—53.2%El entrenamiento proporciona experiencia directa con el conjunto

Las mejoras no implicaron una gran caída en las demás capacidades medidas del modelo. Obtuvo 98.5 en AIME, 89.7 en GPQA Diamond y 88.4 en LiveCodeBench, y quedó a menos de dos puntos del modelo base en todas las pruebas de visión evaluadas.

¿Cómo funciona el sistema de simulación a robot?

El modelo recibe un prompt que describe la tarea, la configuración física del robot y las vistas de sus cámaras. A continuación, razona sobre qué hacer y genera una pose objetivo para el efector final. El objetivo es una instrucción sobre dónde y cómo debe colocarse la pinza, no una secuencia de comandos para motores individuales. Un sistema independiente de cinemática inversa calcula las posiciones articulares y el controlador del robot mueve el brazo hasta el objetivo.

Esta interfaz es clave para transferir el modelo entre robots. El formato de acción se mantiene, mientras que el prompt cambia para describir las partes del robot y su sistema de coordenadas. El controlador también permanece fuera del modelo. En principio, esto permite que la misma política entrenada funcione con distintos robots, siempre que puedan aceptar poses objetivo y dispongan de un controlador adecuado.

El entrenamiento utiliza aprendizaje por refuerzo con un resultado binario: cada episodio tiene éxito o fracasa. Al principio, los episodios exitosos son poco frecuentes, por lo que muchas tareas aportan poca señal de aprendizaje útil. Para abordar este problema, los investigadores emplearon un currículo. El entrenamiento comenzó con los conjuntos de tareas Goal, Spatial y Object de LIBERO; después incluyó los cuatro conjuntos de LIBERO y, por último, dos tareas de RoboDojo. Las habilidades adquiridas en tareas más fáciles o más susceptibles de aprendizaje ayudaron al modelo a empezar a resolver tareas más difíciles, lo que generó más ejemplos para que el aprendizaje por refuerzo pudiera mejorarlo.

El enfoque implica una contrapartida deliberada: el modelo elige una pose cada vez, en lugar de una secuencia de movimientos de varios pasos. Esto mantiene sencilla la interfaz, pero una acción compleja puede requerir varias rondas de razonamiento y movimiento.

El modelo entrenado operando un robot real de dos brazos

¿Por qué es importante para la robótica?

Entrenar robots directamente suele ser costoso y llevar mucho tiempo, porque cada intento fallido con hardware físico puede consumir tiempo de los operadores y capacidad de los equipos, y a veces requiere piezas de repuesto. Este trabajo prueba una vía en la que el aprendizaje tiene lugar en simulación, mientras que un controlador existente traduce las decisiones de alto nivel del modelo en movimientos del robot. El resultado en el robot real sugiere que el entrenamiento en simulación puede producir comportamientos útiles en hardware que el modelo no encontró durante el entrenamiento.

La interfaz común de poses objetivo también podría facilitar la reutilización de un modelo de uso de robots en distintas plataformas. El comprador o el equipo de ingeniería aún tendría que proporcionar descripciones precisas del robot, información de las cámaras y software de control fiable, pero no necesariamente habría que volver a entrenar el modelo para cada robot. Esta es una diferencia práctica para las organizaciones que evalúan flotas con hardware diverso.

La evidencia es una demostración inicial, no una receta de despliegue lista para usar. Las pruebas en el mundo real fueron limitadas, el rendimiento dependía de prompts detallados y cada acción requería razonar antes de que el controlador moviera el brazo. Aun así, el trabajo ofrece un punto de referencia útil para los equipos que comparan plataformas robóticas y planifican el desarrollo basado en simulación. Los equipos que evalúan hardware también pueden explorar robots usados en venta.

¿Cuáles son las limitaciones y las preguntas abiertas?

El entrenamiento abarcó solo dos simuladores y un conjunto reducido de tareas, incluidas apenas dos tareas de RoboDojo. Los investigadores dejaron de ampliar la escala principalmente por la escasez de recursos de GPU, y el modelo partió de una base de 27 mil millones de parámetros. Los resultados aún no muestran cómo se comporta el enfoque con una amplia variedad de robots, entornos o condiciones operativas cotidianas.

El sistema también tarda en ejecutar las tareas. Una ronda de razonamiento dura una media de unos 4.3 segundos, y algunas secuencias de razonamiento alcanzan los 32,000 tokens, por lo que un solo movimiento puede llevar más de medio minuto. El modelo actúa sobre una pose cada vez, así que los movimientos complejos requieren rondas adicionales. Su éxito también depende mucho de que los prompts expliquen con claridad el robot y la tarea. Por último, la calidad del controlador es importante: un movimiento impreciso puede impedir que el brazo alcance la pose objetivo del modelo.

¿Cuáles son las preguntas frecuentes?

¿Se entrenó el modelo con datos de robots reales? No. Las pruebas informadas con el robot real utilizaron un modelo entrenado en simulación, sin entrenamiento adicional con datos de robots reales.

¿Qué genera el modelo? Genera una pose objetivo para el efector final del robot. Un sistema independiente de cinemática inversa y un controlador convierten ese objetivo en movimiento del robot.

¿Funcionó el modelo con un robot en el que nunca se había entrenado? Sí. El modelo final se probó en un YAM real de dos brazos que no formó parte del entrenamiento y tuvo éxito en 18 de 30 pruebas.

¿Cuál es la principal contrapartida? El modelo puede transferirse entre robots simulados y reales sin controlar directamente sus motores, pero razona antes de cada acción a nivel de pose, lo que puede ralentizar las tareas.

¿Cuál es la conclusión práctica?

Los modelos de razonamiento entrenados en simulación pueden transferir habilidades robóticas útiles a tareas, simuladores y hardware real desconocidos cuando se combinan con una interfaz coherente basada en poses. Los resultados son prometedores, pero acelerar las acciones, ampliar la cobertura de tareas y reducir la dependencia de los prompts siguen siendo pasos importantes para lograr un despliegue práctico.