Un equipo de investigadores ha lanzado Deform360, el conjunto de datos visotáctiles del mundo real más grande jamás creado para la manipulación de objetos deformables. El dataset incluye 198 objetos cotidianos —desde cuerdas y telas hasta peluches— capturados por 41 cámaras sincronizadas y dos pinzas con sensores táctiles en 1,980 secuencias de interacción, totalizando 23.3 millones de fotogramas. Este recurso masivo proporciona a los robóticos la verdad fundamental de alta fidelidad necesaria para entrenar modelos del mundo que puedan predecir cómo se comportan los objetos blandos, esponjosos y flexibles bajo manipulación.
Tabla de Contenidos
- Lo que Construyeron los Investigadores
- Resultados Clave
- Cómo Funciona
- Por Qué Esto es Importante para la Robótica
- Limitaciones y Preguntas Abiertas
- Preguntas Frecuentes
- Conclusión
Lo que Construyeron los Investigadores
Deform360 es una colección curada de 1,980 interacciones físicas con 198 objetos deformables distintos, grabadas en un estudio multicámara controlado. Cada secuencia de interacción involucra un gripper de dos dedos paralelos (el gripper UMI) equipado con sensores de presión táctiles, realizando una serie de acciones predefinidas —presionar, apretar, torcer, tirar, arrastrar— sobre el objeto mientras 41 cámaras calibradas capturan la escena desde todos los ángulos.
La taxonomía de objetos cubre tres categorías principales de deformabilidad:
- Deformables 1D (28 objetos): cuerdas, cables, alambres, correas y cadenas con diferentes rigideces.
- Deformables 2D (98 objetos): telas, paños, prendas de vestir, bolsas, materiales similares al papel y láminas delgadas.
- Deformables volumétricos 3D (72 objetos): peluches, animales de juguete, objetos de espuma, esponjas y artículos domésticos que se pueden apretar.
Para cada episodio, los investigadores proporcionan reconstrucciones 3D de alta calidad y seguimiento de partículas derivados de un pipeline de percepción multivista sin marcadores. Los datos táctiles capturan la presión en el eje normal en las pinzas del gripper, proporcionando una lectura directa de las fuerzas de contacto durante cada manipulación. Esta fusión densa de sensores convierte a Deform360 en un recurso único para estudiar cómo se deforman los objetos bajo fuerzas del mundo real, no solo visualmente sino también físicamente.
Resultados Clave
Deform360 representa un incremento de un orden de magnitud en escala con respecto a los conjuntos de datos existentes de objetos deformables del mundo real. Con 23.3 millones de fotogramas en 215.7 horas de metraje, supera a conjuntos de datos anteriores que típicamente cubren menos de 20 objetos en entornos sintéticos o de una sola vista.
Los investigadores evaluaron sistemáticamente dos familias de modelos del mundo en este conjunto de datos:
- Modelos de video del mundo (Cosmos Predict 2.5, un transformer de difusión) ajustados en Deform360 con condicionamiento de acciones 7D mediante atención cruzada.
- Modelos de dinámica de partículas 3D que aprenden física directamente sobre las representaciones basadas en partículas.
Hallazgos clave:
| Tipo de Modelo | Fortalezas | Debilidades |
|---|---|---|
| Modelos de video del mundo (Cosmos) | Captura la apariencia visual y cambios de textura; aprovecha el preentrenamiento a gran escala | Sensible a entornos fuera de distribución; el diseño de recompensas es difícil para la planificación |
| Dinámica de partículas 3D | Predicción geométrica precisa; fácil de usar con funciones de costo geométricas (ej. distancia de Chamfer) | Limitado a estado geométrico; carece de apariencia visual; requiere datos de seguimiento densos |
La evaluación reveló un intercambio fundamental: los modelos de video sobresalen en novedad visual pero tienen dificultades con la geometría precisa, mientras que los modelos de partículas ofrecen mejores prioridades estructurales pero carecen de riqueza visual. Notablemente, los modelos de partículas 3D se utilizaron con éxito para control predictivo de modelo (MPC) en el mundo real sobre objetos deformables, mientras que los modelos de video requirieron un post-entrenamiento adicional para manejar cambios de dominio visual.
Cómo Funciona
El sistema de captura Deform360 consta de 41 cámaras industriales dispuestas en un domo hemisférico alrededor del espacio de trabajo de manipulación. Todas las cámaras están calibradas y sincronizadas para grabar a 30 fps. El gripper UMI monta dos sensores táctiles (tipo GelSight) en sus dedos, proporcionando un mapa de presión de 16×16 en cada punta de dedo.
Pipeline de manipulación de objetos:
- Cada objeto se coloca sobre una mesa negra mate en una pose inicial fija.
- El gripper ejecuta una secuencia de 5 a 10 acciones predefinidas (presionar, arrastrar, torcer, pellizcar, empujar) que dura aproximadamente 30 segundos por episodio.
- Todas las 41 transmisiones de cámara, datos táctiles y ángulos de articulación del robot se registran sincrónicamente.
- Un pipeline de reconstrucción 3D multivista (basado en NeRF y seguimiento de partículas) produce nubes de puntos densas y trayectorias de partículas para cada fotograma.
Entrenamiento de modelos del mundo:
- Modelos de video: La arquitectura Cosmos Predict 2.5 es un transformer de difusión (DiT) que genera fotogramas futuros condicionados por fotogramas pasados y acciones futuras del robot. El vector de acción 7D (pose de muñeca 6D + apertura del gripper) se inyecta en los bloques DiT mediante atención cruzada. El post-entrenamiento en Deform360 adapta el modelo al dominio visual específico y al espacio de acciones.
- Modelos de partículas: Cada objeto se representa como un conjunto de partículas 3D (típicamente 1,000–10,000). Una red neuronal de grafos o una EDO neuronal predice el movimiento de las partículas dado el estado actual y las fuerzas aplicadas. El entrenamiento utiliza las trayectorias de partículas verdaderas del pipeline de reconstrucción.
Por Qué Esto es Importante para la Robótica
Los robots en almacenes, fábricas y hogares deben manejar objetos deformables a diario: doblar ropa, empacar productos, ensamblar cables o manipular envases blandos. Sin embargo, la mayoría de los sistemas robóticos se basan en suposiciones de cuerpo rígido que fallan en materiales deformables. Deform360 llena un vacío crítico al proporcionar los datos multimodales de alta fidelidad necesarios para entrenar modelos del mundo que puedan predecir realmente el comportamiento de cuerdas, telas y peluches.
Para empresas que compran cobots usados en venta o robots de almacén, el progreso en la manipulación de objetos deformables significa menos fallos en tareas como recogida en bins, kitting y clasificación. En robótica humanoide, la capacidad de manipular objetos blandos es esencial para tareas como asistencia para vestirse o transferencia de objetos. El filtro explorar robots humanoides en Robot Overflow muestra docenas de plataformas que podrían beneficiarse de estos avances.
La demostración preliminar de MPC en el mundo real —donde un modelo de partículas 3D planifica acciones del gripper para deformar una cuerda en una forma objetivo— prueba que estos modelos del mundo pueden implementarse en hardware real, no solo en simulación.
Limitaciones y Preguntas Abiertas
La auto-oclusión intensa sigue siendo un desafío: cuando un objeto está en gran parte oculto de la mayoría de las cámaras (por ejemplo, una cuerda enroscada bajo el gripper), la calidad del seguimiento se degrada. Los sensores táctiles solo miden la presión en el eje normal, por lo que el micro-deslizamiento y las fuerzas tangenciales son invisibles, y la regularización de no deslizamiento puede sobre-restrictir las partículas cerca de los puntos de contacto. El conjunto de datos se limita a interacciones con gripper de dos dedos, por lo que no se cubren comportamientos que requieren succión o agarre multifingrado.
Los modelos de video del mundo también enfrentan obstáculos de implementación: el cambio de dominio entre el estudio de captura y los entornos robóticos reales requiere un post-entrenamiento extenso, y diseñar funciones de recompensa sobre fotogramas de video en bruto es significativamente más difícil que sobre representaciones de estado geométrico.
Preguntas Frecuentes
¿Qué tipos de objetos están incluidos en Deform360? El conjunto de datos cubre 198 objetos divididos en tres categorías: deformables 1D (cuerdas, cables, alambres), deformables 2D (telas, paños, bolsas) y deformables volumétricos 3D (peluches, objetos de espuma, artículos apretables).
¿Qué tan grande es el conjunto de datos Deform360? Contiene 1,980 secuencias de interacción que totalizan 23.3 millones de fotogramas y 215.7 horas de video multivista sincronizado y datos táctiles, un orden de magnitud mayor que cualquier conjunto de datos anterior de objetos deformables del mundo real.
¿Qué sensores se utilizaron para capturar los datos? 41 cámaras calibradas y sincronizadas capturan datos visuales desde todos los ángulos, mientras que dos sensores táctiles en el gripper del robot miden la presión del eje normal con una resolución de 16×16 cada uno.
¿Cuáles son los principales desafíos que aborda este conjunto de datos? Deform360 aborda la escasez de datos del mundo real de alta fidelidad para el modelado de objetos deformables, permitiendo una evaluación sistemática de modelos de video 2D versus modelos de dinámica de partículas 3D y proporcionando un punto de referencia para futuras investigaciones.
Conclusión
Deform360 establece un nuevo estándar para conjuntos de datos de objetos deformables al combinar una escala sin precedentes, cobertura visual multivista y detección táctil. Los puntos de referencia adjuntos revelan compensaciones claras entre los modelos del mundo basados en video y los basados en partículas, brindando a la comunidad robótica una guía concreta para elegir enfoques según los requisitos de la tarea. Este recurso acelerará el progreso hacia robots que puedan manejar de manera confiable los objetos blandos, esponjosos y flexibles que conforman gran parte de nuestro mundo físico.