El ecosistema de datos para la manipulación física está experimentando una transformación estructural, pasando de conjuntos de datos específicos de robots a recursos multi-fuente y multi-encarnación. Este artículo presenta la Pirámide de Datos para Manipulación Física, un marco unificado que categoriza los datos provenientes de tres fuentes complementarias — robot real, demostración humana y simulación — y examina los pipelines, representaciones y compromisos que definen cada nivel.
Encarnación y Modalidades
Estas diferencias afectan no solo la dimensionalidad del problema de aprendizaje, sino también el grado en que los datos pueden compartirse entre plataformas. Las representaciones en el espacio de articulaciones proporcionan un control directo y preciso para manos articuladas, pero están fuertemente ligadas a la morfología del robot. En contraste, las representaciones centradas en el efector final pueden ofrecer una interfaz más transferible para el movimiento del brazo entre encarnaciones, aunque aún requieren marcos de coordenadas y convenciones de control consistentes. En el aprendizaje de políticas, los estados propioceptivos y las acciones a menudo se normalizan para mantener escalas numéricas adecuadas y facilitar el aprendizaje entre encarnaciones. Las opciones comunes incluyen normalización MinMax, Q01-Q99 y MeanStd.
Paradigmas de Recolección de Datos
La recolección mediante scripts se refiere ampliamente a procesos de generación de datos en los que el comportamiento del robot se ejecuta sin control humano continuo. En lugar de controlar manualmente cada episodio, el esfuerzo humano se desplaza hacia el diseño de la lógica de la tarea, el pipeline de control y las condiciones de ejecución. Esta separación entre el diseño del sistema y la ejecución a nivel de episodio permite la recolección repetida y paralela de datos a un costo marginal relativamente bajo. Dependiendo de cómo se producen las acciones del robot, la recolección mediante scripts se puede categorizar ampliamente en ejecución basada en reglas, reproducción de trayectorias y despliegues autónomos de políticas.
Ventajas y Limitaciones de los Datos de Robot Real
Los datos de robot real proporcionan supervisión físicamente fundamentada al capturar directamente la relación entre las observaciones del robot, las acciones y sus consecuencias físicas. En comparación con la simulación o los videos humanos, reflejan naturalmente el ruido real de los sensores, la latencia de control, la dinámica de contacto y las limitaciones del hardware. Además, las acciones registradas son directamente ejecutables en la plataforma correspondiente, lo que hace que estos datos sean particularmente valiosos para aprender políticas de manipulación confiables y comportamientos de recuperación.
La principal limitación es el alto costo de recolección. Los datos de robot real requieren hardware físico, operación humana o pipelines automatizados de recolección, reinicios repetidos del entorno, mantenimiento y supervisión de seguridad, lo que restringe la adquisición a gran escala y en paralelo. Además, muchos conjuntos de datos se concentran en robots, tareas y entornos específicos. Las diferencias en encarnación, configuración de sensores, sistemas de coordenadas y representación de acciones complican aún más la agregación de datos y la transferencia entre plataformas.
Descripción General de los Datos de Interfaz de Manipulación Universal (UMI)
Los datos de Interfaz de Manipulación Universal (UMI) se refieren a una familia de conjuntos de datos de manipulación del mundo real recolectados a través de interfaces portátiles e independientes del robot, en lugar de operar directamente un robot objetivo. Un sistema UMI típico integra una o más cámaras, un agarrador manual o interfaz diestra, y un módulo de seguimiento de pose para registrar observaciones visuales, movimiento del efector final, estados del agarrador y, en algunos sistemas recientes, señales de fuerza o táctiles. Estas demostraciones luego se pueden convertir en trayectorias compatibles con robots mediante calibración, transformación de acciones y reorientación específica de la encarnación.
Pipeline de Recolección de Datos UMI
Los datos producidos por sistemas estilo UMI también se han vuelto cada vez más diversos en términos de encarnación, modalidad de detección y escala. Los primeros conjuntos de datos UMI se centraron principalmente en la manipulación con un solo brazo, con agarradores paralelos y observaciones RGB desde la muñeca. Trabajos posteriores extendieron este paradigma a manipuladores móviles y sistemas humanoides de cuerpo completo, como en UMI on Legs y HuMI, así como a la manipulación bimanual y manos diestras.
Despliegue Multi-Encarnación
El despliegue multi-encarnación tiene como objetivo transferir políticas aprendidas de demostraciones UMI sin robot a robots con diferentes estructuras cinemáticas y configuraciones de sensores. La idea clave es separar una representación de tarea independiente de la encarnación de la ejecución específica de la encarnación. En lugar de predecir comandos en el espacio de articulaciones vinculados a un robot en particular, las políticas estilo UMI operan en un espacio de acción centrado en el efector final, produciendo típicamente trayectorias relativas de seis grados de libertad y comandos del agarrador. Durante el despliegue, la trayectoria relativa predicha se compone con la pose actual del efector final del robot y se transforma al marco base del robot. Las poses objetivo resultantes se convierten luego en comandos de articulación ejecutables mediante cinemática inversa, planificación de movimiento o un controlador cartesiano de bajo nivel.
Ventajas y Limitaciones de los Datos UMI
Las principales ventajas de los datos UMI son su escalabilidad, diversidad ambiental y dependencia reducida de una encarnación robótica específica. En particular, su configuración de recolección portátil y sin robot permite la adquisición de datos en entornos cotidianos diversos. Los operadores humanos pueden recopilar demostraciones de manipulación suaves y naturales en diversos entornos del mundo real, mientras que las representaciones de acciones centradas en el efector final facilitan la reutilización en diferentes plataformas robóticas. Extensiones recientes que incorporan movimiento bimanual, manos diestras y detección táctil amplían aún más la gama de comportamientos capturados por los sistemas estilo UMI.
Sin embargo, los datos UMI no eliminan por completo la brecha de encarnación. Las diferencias en los puntos de vista de la cámara, la geometría del efector final, las restricciones cinemáticas, la dinámica y las condiciones de contacto pueden provocar discrepancias entre la demostración y la ejecución del robot. Su calidad también depende de un seguimiento preciso de la pose y la sincronización de sensores, que pueden degradarse bajo oclusión, movimiento rápido o entornos visualmente desafiantes. Además, UMI típicamente carece de propiocepción específica del robot y dinámica de actuadores. Por lo tanto, se considera mejor como un complemento escalable a los datos de robot real específicos de la encarnación, en lugar de un reemplazo completo.
Infraestructura de Captura para Datos de Demostración Humana
Los sistemas de captura egocéntrica y exocéntrica combinan dispositivos portátiles y ambientales para medir apariencia, geometría, movimiento, atención e interacción física. Organizamos el hardware por la cantidad física que observa: los sensores visuales registran flujos de imagen y profundidad, los sistemas de seguimiento de movimiento miden la cinemática del dispositivo o del cuerpo, y los sensores auxiliares exponen la atención, la activación muscular y el contacto. En todas estas categorías, los principales compromisos se refieren a la cobertura espacial, la resolución temporal, la movilidad, la intrusividad, la precisión y los requisitos de calibración.
Cámaras portátiles. La captura RGB monocular utiliza una sola cámara a color, generalmente montada en la cabeza o el pecho, para aproximar el flujo visual del usuario. Estas cámaras son livianas, económicas y adecuadas para la recolección de larga duración, como lo demuestran EPIC-KITCHENS y Ego4D; sin embargo, no miden la profundidad métrica directamente, y el movimiento rápido de la cabeza puede introducir desenfoque mientras las manos pueden ocluir los objetos manipulados.
Las cámaras de eventos adoptan un enfoque diferente: en lugar de producir fotogramas convencionales a una velocidad fija, cada píxel informa asincrónicamente los cambios de brillo. Su alta resolución temporal reduce el desenfoque de movimiento durante el movimiento rápido de la mano, pero produce datos dispersos que requieren procesamiento especializado; EgoEV-HandPose explora esta configuración con cámaras de eventos estéreo.
Sistemas de cámara exocéntrica. Los sistemas exocéntricos colocan una o más cámaras en el entorno para observar al usuario desde puntos de vista fijos en tercera persona. Revelan el contexto del cuerpo, la mano y la escena que pueden estar ocluidos o fuera del campo de visión de la cámara portátil, y las vistas sincronizadas admiten la triangulación y la reconstrucción multivista. Assembly101 combina cámaras portátiles y externas para actividades de ensamblaje detalladas, mientras que Ego-Exo4D combina gafas Project Aria con múltiples cámaras GoPro circundantes. La cobertura adicional tiene el costo de la configuración ambiental, la calibración y sincronización entre cámaras, una mayor demanda de almacenamiento y una movilidad de recolección reducida.
Construcción de Supervisión para Datos Humanos
La supervisión egocéntrica puede registrarse mediante sensores, agregarse por anotadores humanos o recuperarse mediante posprocesamiento. La agrupamos en cuatro categorías complementarias según la información que se expone al aprendizaje: la supervisión semántica describe el contenido y la estructura de la tarea; la supervisión geométrica describe el estado espacial y el movimiento; la supervisión multimodal proporciona señales de atención, dinámica y contacto más allá de RGB; y la supervisión orientada al robot expresa las demostraciones humanas en formas destinadas al aprendizaje de políticas robóticas. Su construcción combina anotación, calibración, sincronización, reconstrucción y alineación entre encarnaciones, con diferentes costos y fuentes de error.
Anotaciones procedimentales y de estado. Las anotaciones procedimentales describen cómo las acciones individuales componen una tarea. Incluyen pasos ordenados, progreso de la tarea, errores de ejecución y cambios en el estado del objeto o del entorno, y generalmente se construyen alineando videos con guiones de tareas y verificando las desviaciones del procedimiento esperado. Assembly101 organiza acciones detalladas dentro de procedimientos de ensamblaje, mientras que CaptainCook4D etiqueta pasos de cocina junto con errores y estados de objetos. Esta supervisión expone dependencias a largo plazo y resultados de tareas que las etiquetas de acción aisladas pasan por alto, aunque su vocabulario suele ser específico de un procedimiento o dominio particular.
Ventajas y Limitaciones de los Datos de Demostración Humana
Los datos egocéntricos y exocéntricos capturan demostraciones humanas naturales a escala sin requerir ejecución en un robot objetivo. Los sistemas portátiles se pueden implementar en diferentes participantes, entornos, objetos y tareas, mientras que las observaciones en primera persona enfatizan la interacción mano-objeto y la estructura de actividad a largo plazo. A diferencia de la recolección con robots de base fija, los operadores humanos pueden moverse libremente por el entorno y manipular objetos directamente con manos diestras. Esta movilidad permite una cobertura espacial más amplia y trayectorias de mano más diversas, incluidas variaciones en la dirección de aproximación, la trayectoria de movimiento y la altura de interacción. El ejemplo de EgoVerse ilustra este potencial: sus fotogramas clave de interacción mano humana abarcan un espacio de trabajo tridimensional amplio y exhiben una variación espacial sustancial.
Sin embargo, los datos egocéntricos no son equivalentes a la experiencia del robot. Las grabaciones en primera persona sufren de observabilidad parcial, oclusión mano-objeto, movimiento rápido de la cámara, desenfoque de movimiento y puntos de vista dependientes del dispositivo. La supervisión geométrica densa y multimodal requiere hardware adicional, calibración, sincronización y reconstrucción, y no está disponible de manera uniforme a escala. Más fundamentalmente, las grabaciones humanas carecen de propiocepción del robot, dinámica de actuadores y acciones directamente ejecutables. Las diferencias en morfología, cinemática, detección y respuesta de contacto impiden además la transferencia directa de trayectorias. Por lo tanto, su uso en el aprendizaje robótico requiere reconstrucción de estado confiable, representaciones conscientes de la encarnación y alineación o reorientación humano-robot.
Infraestructura de Simulación y Ecosistema de Activos
Un ecosistema de aprendizaje robótico simulado se puede ver como una composición de tres componentes de infraestructura acoplados: sistemas de encarnación-sensor, activos de objetos y escenas, y motores de física y renderizado. El sistema de encarnación-sensor define no solo la morfología del robot, la cinemática, el modelo de actuación y la interfaz del controlador, sino también los canales de detección asociados físicamente al cuerpo del robot, como propiocepción, visión montada en la muñeca o la cabeza, detección de fuerza y matrices táctiles. Los activos de objetos y escenas proporcionan la estructura geométrica, semántica y de affordance del entorno, mientras que los motores de física y renderizado determinan la dinámica de contacto, la apariencia visual y la fidelidad de ejecución de los datos generados.
La construcción de datos de manipulación simulados requiere primero importar un sistema de encarnación-sensor al simulador, donde el activo del robot se instancia como un modelo articulado controlable y sus sensores se configuran para adquirir observaciones durante la interacción. El simulador analiza descripciones del robot como URDF, MJCF, SDF o USD para especificar cinemática, límites de articulación, propiedades inerciales, geometrías de colisión y visuales, actuadores y adjuntos de sensores, antes de colocar el sistema en una escena con pose inicial definida, estado de articulación, objetos, iluminación, gravedad y configuraciones del solucionador.
Benchmarks y Conjuntos de Datos de Simulación
La Tabla 5 resume los recursos de datos a gran escala sintéticos y basados en simulación en términos de volumen de datos, cobertura de tareas, diversidad de encarnación y configuraciones de manipulación admitidas. Estos recursos van desde trayectorias de manipulación a nivel de tarea hasta muestras de agarre y mano diestra a gran escala. Los conjuntos de datos recientes incorporan cada vez más múltiples encarnaciones y volúmenes de datos sustancialmente mayores, incluyendo cientos de miles o millones de trayectorias y, para recursos centrados en agarre, colecciones sustancialmente más grandes de muestras generadas. Sin embargo, la mayoría de los conjuntos de datos se concentran en la manipulación de objetos rígidos o articulados, con una cobertura comparativamente limitada de interacción deformable y manipulación móvil.
Brecha Simulación-Realidad
La transferencia de simulación a realidad ha sido durante mucho tiempo un problema central en los datos robóticos basados en simulación, ya que se espera que las trayectorias sintéticas respalden el despliegue en robots reales y no solo el aprendizaje en el simulador. Desde una perspectiva centrada en datos, esta brecha surge principalmente de la discrepancia en la observación y la discrepancia en la interacción.
La primera se refiere a la discrepancia entre las observaciones sensoriales renderizadas y la percepción del robot real. Aunque los conjuntos de datos de simulación recientes mejoran el realismo a través de activos 3D, iluminación, modelos de cámara, objetos articulados y sensores multimodales, sus observaciones aún pueden diferir de los datos reales en textura, iluminación, apariencia del material, ruido de profundidad, calibración de la cámara, oclusión, respuesta táctil y señales de fuerza.
Ventajas y Limitaciones de los Datos de Simulación
Los datos de simulación proporcionan supervisión escalable al generar observaciones, acciones y resultados de tareas del robot en entornos virtuales controlables. En comparación con los datos de robot real, se pueden recolectar con un costo marginal más bajo, paralelización extensa, riesgo de seguridad limitado y sin desgaste del hardware. Los simuladores también proporcionan etiquetas privilegiadas que son difíciles de obtener de sistemas reales, como poses de objetos, máscaras de segmentación, estados de contacto, parámetros físicos, señales de éxito y recompensas densas. Estas propiedades hacen que la simulación sea útil para el preentrenamiento de políticas a gran escala, la evaluación controlada, la aleatorización de escenas y tareas, y la síntesis de trayectorias de interacción diversas.
Una limitación principal de los datos de simulación es la fidelidad física limitada. Las aproximaciones en la detección, actuación, contacto y dinámica de objetos pueden producir discrepancias sustanciales entre simulación y realidad, particularmente para la manipulación con contacto rico, objetos deformables, materiales reflectantes, líquidos y tareas de largo horizonte. Además, la escala no implica necesariamente diversidad: como muestra InternData-A1, la generación restringida por habilidad puede producir muchas trayectorias con variación de tarea limitada.
Preguntas Frecuentes
¿Qué es la Pirámide de Datos para Manipulación Física? Es un marco unificado que categoriza los datos de manipulación en tres fuentes complementarias — robot real, demostración humana y simulación — y examina los pipelines, representaciones y compromisos que definen cada nivel.
¿Cómo permiten los datos de Interfaz de Manipulación Universal (UMI) el despliegue multi-encarnación? Los datos UMI utilizan representaciones de acción centradas en el efector final que separan la información de la tarea independiente de la encarnación de la ejecución específica del robot, lo que permite transferir políticas entre diferentes plataformas robóticas mediante calibración y reorientación.
¿Cuáles son las principales limitaciones de usar videos humanos egocéntricos para el aprendizaje robótico? Las grabaciones humanas carecen de propiocepción del robot, dinámica de actuadores y acciones directamente ejecutables, mientras que las diferencias en morfología, cinemática y detección impiden la transferencia directa de trayectorias sin reconstrucción de estado confiable y alineación humano-robot.
¿Por qué son útiles los datos de simulación a pesar de la brecha simulación-realidad? La simulación permite la recolección de datos escalable y paralela con etiquetas privilegiadas como poses de objetos y estados de contacto, y permite una evaluación segura y controlada y aleatorización de tareas, lo que la hace valiosa para el preentrenamiento de políticas aunque la fidelidad física siga siendo un desafío.