Los modelos de visión y lenguaje pueden describir escenas y responder preguntas, pero ¿pueden realmente controlar un cuerpo físico para realizar tareas del mundo real? HumanCLAW evalúa si los VLM pueden actuar a través de un cuerpo humano en un entorno restringido por la física, utilizando un referente que desacopla el razonamiento de acciones del control de locomoción de bajo nivel. El agente observa, decide, actúa y recibe retroalimentación, pero las acciones se realizan como movimiento corporal limitado por el mundo físico. Un generador de movimiento desacoplado materializa cada llamada como un fragmento de movimiento futuro fiable de forma inmediata y en menos de un segundo. El ciclo observar–pensar–actuar es dinámico: en lugar de comprometerse con un plan fijo, el agente se ajusta continuamente a la relación espacial entre su cuerpo y la escena que sus propias acciones remodelan.
Planteamiento del problema
Los agentes tipo CLAW hacen factibles las metas lingüísticas mediante interfaces simbólicas. HumanCLAW estudia el mismo bucle agente cuando la interfaz es un cuerpo completo en el espacio físico. El agente sigue observando, decidiendo, actuando y recibiendo retroalimentación, pero una acción ya no termina como un comando: se realiza como movimiento corporal y está limitada por el mundo físico.
donde se utiliza una habilidad atómica de un conjunto fijo de habilidades con su parámetro continuo. Un generador de movimiento desacoplado materializa entonces la llamada como un fragmento de movimiento futuro fiable de forma inmediata y en menos de un segundo.
Simulación física desacoplada de la locomoción
Otro desafío al estudiar la inteligencia de acción encarnada es cómo desacoplar el razonamiento de acciones del control motor de locomoción de bajo nivel. En una simulación humanoide completamente dinámica, el fracaso en tareas a largo plazo puede deberse al sistema motor. Por ejemplo, en entornos abarrotados o en escaleras, un humanoide puede perder el equilibrio y caer, terminando prematuramente el episodio e impidiendo una evaluación significativa de su inteligencia de acción.
En la simulación HumanCLAW, el mundo sigue la física de cuerpos rígidos, incluyendo colisión, fricción, gravedad, objetos articulados y objetos móviles. El cuerpo humano, sin embargo, no es accionado por pares de torsión articulares simulados. En cambio, es impulsado por velocidades cinemáticas equivalentes derivadas de la secuencia de movimiento generada. Esto significa que el agente no falla por pérdida de equilibrio o seguimiento motor imperfecto al pisar escaleras, pero aún interactúa físicamente con el entorno: una pared puede bloquear el cuerpo, los contactos pueden empujar objetos móviles, y el movimiento vertical no soportado sigue limitado por la gravedad y el contacto.
Los componentes rotacionales se calculan a partir de rotaciones relativas en el espacio tangente correspondiente. Estas velocidades equivalentes se aplican como la única señal de accionamiento para el humanoide. Siguiendo la práctica previa de simulación de cuerpo pasivo, el simulador funciona a una frecuencia específica en Hz y utiliza una rigidez articular pasiva un valor de rigidez específico para preservar una respuesta de contacto conforme.
Este diseño de física parcial permite que HumanCLAW evalúe la inteligencia de acción bajo consecuencias físicas sin que el referente esté dominado por fallos del controlador de locomoción. El movimiento generado especifica el movimiento corporal deseado, mientras que el simulador determina cómo ese movimiento interactúa con el mundo físico. Como resultado, fallos como chocar contra una pared, perturbar objetos o detenerse demasiado pronto son atribuibles a decisiones a nivel de acción, mientras que los fallos derivados del control de equilibrio de bajo nivel quedan en gran medida excluidos.
Métricas de evaluación
Los VLM se evalúan en cuatro dimensiones: éxito en tareas de alto nivel, calidad de acción de bajo nivel, conciencia corporal y perturbación física, y coste computacional.
Calidad de acción. Un agente VLM debe componer habilidades motoras en un comportamiento suave y coherente. Una mala orquestación de habilidades puede llevar a movimientos inestables, como giros alternos frecuentes a izquierda y derecha. La suavidad de la acción se mide mediante la sacudida del movimiento, la derivada de tercer orden del movimiento cinemático del agente.
Conciencia corporal y perturbación física. La conciencia corporal es un componente clave de la inteligencia de acción encarnada. La falta de conciencia corporal puede causar interacciones inesperadas con el entorno, como rozar una pared al atravesar un pasillo o derribar un jarrón. Se informa el número promedio de pasos por episodio en los que ocurre una colisión, denotado como Colls. La perturbación ambiental también se mide contando el número promedio de objetos móviles que son desplazados directa o indirectamente por el agente humano dentro de un episodio, denotado como #Dtb, y la distancia promedio de desplazamiento de cada objeto perturbado, denotada como dDtb.
Coste. Se informa el número promedio de tokens consumidos por el agente por episodio, incluyendo tokens de entrada y salida, como medida del coste computacional.
Referente
Se evalúan nueve VLM disponibles comercialmente como tomadores de decisiones congelados, con resultados completos de validación informados.
Tareas encarnadas y entornos interactivos
Los entornos encarnados existentes a menudo no coinciden con los MLLM de propósito general. Los entornos impulsados por programas resuelven acciones mediante transiciones predefinidas, dejando poca necesidad de razonar sobre el movimiento corporal o la consecuencia física. Los simuladores completamente basados en física requieren control continuo de alta frecuencia y entrelazan decisiones espaciales con la ejecución motora. HumanCLAW encuentra un punto intermedio: un MLLM congelado selecciona habilidades de movimiento corporal paramétricas basadas en observaciones egocéntricas, utilizando un modelo de generación de movimiento para generar autogresivamente comportamiento continuo a largo plazo. La ejecución semifísica preserva la colisión, el contacto y la perturbación de objetos mientras abstrae el control de bajo nivel, permitiendo una interacción encarnada básica.
Discusión
Esta brecha se atribuye a cómo están construidos estos modelos. Un VLM entrenado mediante respuesta visual a preguntas aprende a describir lo que ve, no a sentir lo que hace; trata sus propias extremidades como meros píxeles y nunca forma el modelo propioceptivo y de predicción de consecuencias que requiere actuar a través de un cuerpo. El resultado se comporta como un fantasma: fluido sobre el mundo, ajeno a sí mismo. Cerrar esta brecha probablemente requerirá más que un reconocimiento más agudo o una ventana de contexto más larga: exige memoria espacial persistente, terminación calibrada y un modelo interno del cuerpo junto con las relaciones espaciales que cada acción produce.
Preguntas frecuentes
¿Qué hace que HumanCLAW sea diferente de otros referentes de IA encarnada? HumanCLAW desacopla el razonamiento de acciones del control de locomoción de bajo nivel mediante una simulación de física parcial, de modo que los fracasos en las tareas son atribuibles a decisiones a nivel de acción en lugar de errores de equilibrio o seguimiento motor.
¿Cómo funciona la simulación semifísica? El cuerpo humano es impulsado por velocidades cinemáticas equivalentes de secuencias de movimiento generadas, no por pares articulares, mientras que el entorno sigue la física completa de cuerpos rígidos, incluyendo colisión, fricción y gravedad.
¿Qué métricas se utilizan para evaluar los agentes VLM? Los agentes se evalúan en éxito de tarea, calidad de acción (sacudida del movimiento), conciencia corporal (frecuencia de colisión y perturbación de objetos) y coste computacional (consumo de tokens).
¿Cuál es la principal limitación identificada en los VLM actuales? Los VLM actuales tratan su propio cuerpo como píxeles en lugar de formar un modelo propioceptivo, lo que los hace "fluidos sobre el mundo, pero ajenos a sí mismos".