Conectar observaciones egocéntricas con la acción del cuerpo completo es un desafío fundamental para los robots humanoides que operan en entornos centrados en humanos. Un humanoide debe percibir el mundo desde su propio punto de vista, identificar objetos relevantes para la tarea, navegar hacia ellos e interactuar físicamente mediante un movimiento corporal completo y coordinado. Este bucle de percepción a acción, que los humanos ejecutan sin esfuerzo en situaciones cotidianas, requiere una política que mapee la entrada visual de alta dimensión y las instrucciones en lenguaje a un comportamiento cinemático del cuerpo completo.
Demostramos que el eslabón perdido es un sistema de generación de datos que sintetiza observaciones visuales emparejadas dentro de mundos de 3D Gaussian Splatting (3DGS) y comportamientos cinemáticos de robot correspondientes, adecuados para el seguimiento del movimiento de todo el cuerpo. La ventaja clave de este sistema es el desacoplamiento que permite. Podemos prescribir los comandos de lenguaje, aprovechar la información privilegiada en el mundo simulado (poses de objetos, geometría de colisión, regiones transitables) para facilitar el desafío de la generación de comportamientos, y renderizar las observaciones egocéntricas correspondientes como imágenes RGB después del hecho. Al explotar la anotación dirigida, la síntesis de movimiento condicionada por un oráculo y el renderizado a posteriori, podemos escalar la producción de datos en órdenes de magnitud para generar instrucciones de lenguaje sincronizadas, observaciones visuales egocéntricas y trayectorias cinemáticas del cuerpo completo sin ningún esfuerzo de demostración humana.
Usando este sistema, sintetizamos 48,000 trayectorias automáticamente en 600 horas-GPU en entornos interiores a escala métrica reconstruidos con 3DGS. Luego entrenamos una política de Visión-Lenguaje-Cinemática (VLK) que toma como entrada una imagen egocéntrica, una instrucción de tarea y el estado actual del robot, y predice una trayectoria cinemática del cuerpo completo a corto plazo junto con etiquetas binarias de contacto muñeca-objeto. Tratamos estas etiquetas de contacto como componentes auxiliares del estado cinemático: indican si cada muñeca debe estar en contacto con el objeto manipulado y están fácilmente disponibles a partir de nuestros datos sintéticos. Durante el despliegue, un seguidor de cuerpo completo consciente del contacto utiliza la cinemática y las etiquetas de contacto predichas para producir acciones del robot en el humanoide físico.
Evaluamos el sistema en dos categorías de tareas fundamentales: navegación y transporte de objetos. La navegación requiere que el robot se mueva a una ubicación indicada; el transporte de objetos requiere que mueva un objeto a una ubicación indicada. Juntos, ejercitan el bucle completo de percepción a acción: anclaje visual, locomoción, recogida, transporte y colocación de objetos. Los experimentos en simulación de bucle cerrado y en el G1 físico demuestran que nuestras interacciones sintetizadas en escenas reconstruidas proporcionan una supervisión efectiva para la locomoción-manipulación humanoide basada en percepción de simulación a realidad.
Generación de Datos Sintéticos en Escenas Reconstruidas
Generamos datos de entrenamiento sintetizando movimientos del Unitree G1 en escenas reconstruidas a escala métrica y renderizando las observaciones egocéntricas correspondientes. El pipeline tiene tres etapas: reconstrucción y anotación de la escena, síntesis de movimiento del G1 en las escenas anotadas y renderizado egocéntrico. Juntas, estas etapas producen datos emparejados de visión-lenguaje-cinemática.
Reconstruimos entornos interiores a partir de escaneos Polycam capturados con un iPhone 14 Pro. Los escaneos combinan imágenes RGB con profundidad basada en LiDAR, lo que permite una reconstrucción de la escena a escala métrica. Para cada escena, optimizamos una representación 3DGS que preserva la apariencia visual y la disposición espacial del entorno real para el renderizado egocéntrico.
Política de Visión-Lenguaje-Cinemática
Las secuencias de visión-lenguaje-cinemática generadas proporcionan supervisión emparejada para aprender una política que mapea observaciones desde la perspectiva del robot y la instrucción de la tarea al movimiento futuro del cuerpo completo.
Configuración Experimental
Usamos dos entornos físicos: una escena tipo laboratorio y una escena tipo apartamento. Para cada entorno, creamos múltiples disposiciones físicas cambiando las posiciones y orientaciones de ciertos muebles seleccionados, luego escaneamos cada disposición usando la aplicación Polycam en un iPhone 14 Pro y la reconstruimos con 3D Gaussian Splatting (3DGS). Esto produce 4 disposiciones de laboratorio y 4 de apartamento, que se utilizan para la generación de datos sintéticos y la evaluación en simulación. El despliegue en el mundo real se realiza en los mismos dos entornos físicos, con las disposiciones de los muebles variadas manualmente entre los ensayos.
Detalles de la Generación de Datos Sintéticos
Dada una escena reconstruida con cuadros delimitadores 3D semánticos y anotaciones de regiones transitables, el pipeline muestrea objetos relevantes para la tarea, poses iniciales factibles, puntos de ruta e instrucciones de tarea; sintetiza trayectorias compatibles con el G1; filtra trayectorias con penetraciones en la escena; y renderiza observaciones egocéntricas emparejadas. Cada secuencia contiene observaciones egocéntricas sincronizadas, instrucciones de lenguaje y trayectorias cinemáticas del cuerpo completo del G1.
Cada entorno contiene 4 disposiciones reconstruidas y 12 modos de generación de datos: seis modos evaluados — Caminar Hacia, Girar, Recoger (Suelo), Colocar (Suelo), Recoger (Superficie) y Colocar (Superficie) — más modos auxiliares para caminar aleatorio, girar, llevar y girar llevando. Estos modos auxiliares mejoran la cobertura del estado al exponer la política a diversos comportamientos de caminar y transportar objetos. Sintetizamos 1000 trayectorias por disposición y modo, lo que produce 48,000 trayectorias por entorno. En una sola GPU NVIDIA L40S, sintetizar 1000 trayectorias para un modo en una disposición toma aproximadamente 4 horas, mientras que renderizar las observaciones egocéntricas correspondientes toma aproximadamente 8.3 horas. Estos resultados muestran que, después de la reconstrucción y anotación de la escena, el pipeline puede generar automáticamente grandes volúmenes de supervisión VLK emparejada, con la generación paralelizada entre disposiciones y modos.
Efecto de la Aleatorización Visual del Dominio
Evaluamos si la aleatorización visual del dominio durante el renderizado mejora la robustez a las perturbaciones visuales en la simulación MuJoCo (con renderizado IsaacSim). Específicamente, evaluamos el éxito del modo de caminar en la escena de laboratorio bajo condiciones aleatorizadas de iluminación y cámara, y comparamos cuatro configuraciones de entrenamiento: sin aleatorización, solo aleatorización de iluminación, solo aleatorización de cámara y aleatorización completa. La configuración completa combina variación de iluminación y variación de cámara.
Anotación de la Escena
Anotamos cada escena reconstruida para apoyar la síntesis de movimiento consciente de la escena. Dado que la representación 3DGS no proporciona una malla explícita ni etiquetas semánticas, primero extraemos una nube de puntos de la escena reconstruida y la usamos como referencia geométrica para la anotación. Implementamos una herramienta de anotación interactiva usando viser, que permite a los usuarios cargar la escena 3D reconstruida, inspeccionarla en 3D y agregar anotaciones relevantes para la tarea.
Para la anotación semántica de objetos, colocamos manualmente cuadros delimitadores 3D orientados alrededor de objetos de interés y asignamos a cada cuadro una etiqueta semántica, como silla, mesa o caja. La interfaz de anotación admite trasladar, escalar y rotar cada cuadro para alinearlo con el objeto correspondiente en la escena. Estos cuadros 3D semánticos se utilizan para muestrear objetos objetivo para tareas de navegación y definir ubicaciones de objetos relevantes para la síntesis de interacción.
También anotamos regiones transitables en cada escena. Los usuarios especifican un conjunto de puntos en el plano del suelo, y la herramienta conecta estos puntos para formar regiones poligonales. Estas regiones definen áreas factibles para muestrear poses iniciales del humanoide y puntos de ruta de navegación. Juntos, los cuadros de objetos semánticos y las regiones transitables proporcionan la estructura geométrica y semántica necesaria para la generación de movimiento consciente de la escena.
Generación de Puntos de Ruta y Lenguaje en Escenas 3D
Generamos puntos de ruta dispersos a partir de las escenas 3D anotadas según reglas específicas de la tarea. Para las tareas de navegación, primero muestreamos un objeto objetivo de los cuadros delimitadores 3D semánticos anotados. Luego muestreamos la pose inicial del humanoide y los puntos de ruta intermedios de las regiones transitables anotadas. Las poses muestreadas están restringidas a ser libres de colisiones y compatibles con el objetivo de la tarea.
Para las tareas de interacción con cajas, generamos puntos de ruta y tiempos de contacto según el estado del objeto y la altura de la superficie de apoyo. Para los movimientos de recogida, los puntos de ruta guían al humanoide para acercarse a la caja, establecer contacto muñeca-objeto y levantar la caja desde el suelo o una superficie de apoyo. Para los movimientos de colocación, los puntos de ruta guían al humanoide para llevar la caja hacia la superficie de apoyo objetivo y soltarla en la ubicación deseada. Dado que levantar desde el suelo, levantar desde una mesa y colocar sobre superficies requieren diferentes alturas de brazo y fases de contacto, diseñamos los marcos de contacto de la muñeca y las poses relativas deseadas de la muñeca según la altura de la superficie. Este diseño específico de la tarea ayuda al movimiento sintetizado a mantener un tiempo de contacto realista, evitar movimientos verticales abruptos y alinear las muñecas del robot con la caja durante el levantamiento y la colocación.
La secuencia final de puntos de ruta proporciona una guía espacial dispersa para el modelo de síntesis de movimiento. Estos puntos de ruta fomentan que el movimiento del humanoide generado siga caminos factibles en la escena reconstruida.
Postprocesamiento del Movimiento Generado
El deslizamiento de pies y el contacto mano-objeto poco realista son artefactos comunes en la síntesis de movimiento humano y la síntesis de interacción humano-objeto. Para mejorar la calidad de los movimientos generados, aplicamos un postprocesamiento de la parte inferior del cuerpo siguiendo trabajos anteriores. La idea clave es usar las etiquetas de contacto del pie predichas para identificar los inicios de contacto y las fases de contacto. Durante cada fase de contacto, restringimos el pie correspondiente del robot para que permanezca fijo en su posición de contacto resolviendo la cinemática inversa.
Para corregir los artefactos de contacto mano-objeto, adaptamos el enfoque de optimización de EgoAllo e introducimos un término de coincidencia de pose de muñeca que impulsa la posición y rotación de cada muñeca hacia la pose de muñeca de entrada expresada en el marco local del objeto. Esto fomenta un contacto de agarre bimanual más realista durante la interacción con objetos.
Aleatorización de Dominio en el Renderizado
Para mejorar la utilidad en el mundo real de los datos renderizados, aplicamos aleatorización de dominio durante el renderizado egocéntrico. La aleatorización cubre los parámetros de la cámara, la iluminación y la apariencia de la imagen. La aleatorización de la cámara perturba los parámetros extrínsecos de la cámara y la distancia focal para tener en cuenta pequeños desajustes de calibración entre la configuración virtual y física de la cámara ZED 2i. La aleatorización de la iluminación cambia la intensidad de la luz ambiental y la rotación de guiñada. También aplicamos aumentos de apariencia en el espacio de la imagen, incluyendo perturbaciones en el brillo, contraste, saturación y tono, así como ruido gaussiano y desenfoque gaussiano.
Detalles de la Pérdida de Entrenamiento de VLK
Inicializamos la política VLK a partir de un modelo de visión-lenguaje preentrenado y ajustamos todo el modelo en nuestro conjunto de datos de visión-lenguaje-cinemática generado. Adaptamos el espacio de acción del modelo preentrenado a nuestra representación cinemática del G1.
La política predice la trayectoria limpia condicionada a la trayectoria ruidosa, el coeficiente de interpolación, la observación egocéntrica actual, la instrucción de la tarea y el estado cinemático actual del G1. La pérdida principal de reconstrucción de trayectoria es un error cuadrático medio entre las posiciones y orientaciones de las articulaciones predichas y reales a lo largo del horizonte de la trayectoria.
Métrica para la Evaluación en Simulación
Mientras que el controlador de seguimiento RL se entrena en IsaacLab, realizamos la evaluación sim2sim en MuJoCo. Durante la evaluación, el simulador se pausa mientras la política VLK realiza la inferencia de trayectoria al final de cada fragmento de movimiento, evitando la necesidad de ejecución por fragmentos en tiempo real. Para cada modo de tarea, reservamos el 10% de las trayectorias sintetizadas (1000 trayectorias por modo) para la evaluación. El humanoide se inicializa desde el estado inicial de cada trayectoria reservada y se evalúa si puede completar con éxito la tarea condicionada por el lenguaje correspondiente.
Para las tareas de "Caminar Hacia", un despliegue se considera exitoso si el humanoide alcanza el objeto o caja objetivo especificado, se detiene a menos de 0.5 m del objetivo y evita colisionar o penetrar la geometría del objetivo.
Para las tareas de "Girar", el éxito requiere que el humanoide realice un movimiento de giro claro hacia la dirección indicada, en lugar de permanecer estacionario o continuar moviéndose hacia adelante.
Para las tareas de "Recoger", el humanoide debe agarrar con éxito una caja colocada en el suelo o sobre un objeto y mantenerla estable durante al menos 20 fotogramas consecutivos.
Para las tareas de "Colocar", el éxito se define como que el humanoide alcance el objeto objetivo especificado y coloque con éxito la caja transportada sobre la superficie objetivo o el suelo.
Manejo del Desenfoque de Movimiento Durante el Despliegue
Aumentamos un subconjunto de observaciones RGB con desenfoque de movimiento sintético para mejorar la robustez durante el despliegue en el mundo real, donde el movimiento de la cámara durante la locomoción produce naturalmente desenfoque de movimiento.
Conclusión
Presentamos un sistema de locomoción-manipulación humanoide basado en percepción entrenado a partir de interacciones sintetizadas en escenas 3D reconstruidas. Nuestro pipeline genera trayectorias de navegación y manipulación de cajas compatibles con el Unitree G1, renderiza observaciones egocéntricas emparejadas y entrena una política VLK para predecir trayectorias cinemáticas del cuerpo completo para su ejecución basada en seguidor. Los experimentos en simulación y en el Unitree G1 físico demuestran navegación dirigida a objetos y manipulación de cajas, mostrando que la supervisión sintética basada en la escena puede apoyar la locomoción-manipulación humanoide de simulación a realidad. Estos resultados sugieren que sintetizar interacciones compatibles con robots en escenas reconstruidas es un camino prometedor hacia el control humanoide escalable condicionado por la percepción.
Nuestra síntesis de interacción actual está limitada por la cobertura de OMOMO, que contiene interacciones con un conjunto limitado de objetos grandes. Como resultado, los comportamientos generados son más adecuados para el transporte bimanual de objetos tipo caja que para agarrar objetos pequeños como tazas o herramientas. De manera similar, el seguidor consciente del contacto estabiliza la manipulación de objetos grandes a través del contacto muñeca-objeto, pero no aborda el agarre preciso de objetos. Extender VLK a la manipulación de objetos pequeños requeriría datos de interacción más ricos y un controlador de bajo nivel diseñado para el agarre preciso de objetos.
Preguntas Frecuentes
¿Cómo se generan los datos de entrenamiento sintéticos sin demostración humana? El pipeline utiliza reconstrucción de escenas con 3D Gaussian Splatting, anotación semántica de objetos y regiones transitables, y síntesis de movimiento condicionada por un oráculo para generar automáticamente 48,000 trayectorias emparejadas de visión-lenguaje-cinemática en solo 600 horas-GPU.
¿Qué tareas puede realizar el robot humanoide después del entrenamiento? La política VLK permite dos categorías de tareas fundamentales: navegación (caminar a una ubicación indicada) y transporte de objetos (recoger, llevar y colocar cajas en suelos o superficies), probadas tanto en simulación como en el robot Unitree G1 físico.
¿Cómo maneja el sistema la brecha simulación-realidad para las observaciones visuales? La aleatorización visual del dominio durante el renderizado egocéntrico perturba los parámetros de la cámara, las condiciones de iluminación y la apariencia de la imagen (brillo, contraste, saturación, tono, ruido y desenfoque) para mejorar la robustez al desplegar la política en entornos del mundo real.
¿Cuáles son las limitaciones actuales de este enfoque? El sistema es más adecuado para el transporte bimanual de objetos tipo caja y no maneja el agarre de objetos pequeños como tazas o herramientas, lo que requeriría datos de interacción más ricos y un controlador de bajo nivel especializado para el agarre preciso.