Datasets a gran escala para la manipulación robótica
En los últimos años, el aprendizaje robótico ha experimentado un cambio de paradigma significativo: ha pasado de los datasets pequeños y específicos para cada tarea a datos a gran escala y de múltiples morfologías robóticas. Para lograr una mayor capacidad de generalización y entrenar modelos fundacionales universales para robots, la comunidad ha presentado varios datasets de referencia que integran datos procedentes de distintas plataformas robóticas.
Por ejemplo, Open X-Embodiment reúne cientos de miles de trayectorias de demostración con el objetivo de abarcar entornos y tareas diversos mediante un gran volumen de datos. Trabajos como RT-1 y BridgeData V2 han demostrado además que los modelos entrenados con datasets masivos pueden mostrar una impresionante capacidad de transferencia zero-shot, adaptándose a instrucciones y escenarios inéditos. El éxito de estos datasets se debe principalmente a su escala, que permite a los modelos aprender principios visomotores generales. Esto les permite manipular y desplazar objetos en entornos reales y no estructurados.
Datasets de alta precisión para la manipulación industrial
Los avances recientes en aprendizaje robótico han estado impulsados por la aparición de datasets a gran escala recopilados en entornos diversos. Iniciativas fundacionales como Open X-Embodiment, RT-1 y BridgeData V2 han reunido numerosas demostraciones para permitir el control robótico de propósito general. Por lo general, estos datasets se centran en entornos no estructurados, como hogares o cocinas, donde los robots realizan tareas básicas y de horizonte corto, como recoger, colocar y reorganizar objetos.
Para superar las limitaciones de estas habilidades elementales, la investigación ha virado hacia tareas de manipulación de horizonte largo y con abundante interacción por contacto. FurnitureBench ha logrado avances en este tipo de tareas. Sin embargo, aunque el horizonte temporal sea más extenso, el montaje de muebles suele implicar piezas que encajan de forma holgada y carece de las tolerancias estrictas propias de la fabricación de precisión.
Para abordar los retos de alta precisión, benchmarks recientes como REASSEMBLE y RH20T han adoptado protocolos industriales estandarizados, como el NIST Task Board. Estos trabajos ponen de manifiesto que la percepción visual por sí sola suele ser insuficiente en tareas como el engranaje de ruedas dentadas o la inserción de conectores, que requieren sensores de fuerza y par de alta frecuencia, además de propiocepción. Aunque la incorporación de estas modalidades mejora la retroalimentación física, también introduce dependencias de hardware y complica la recopilación de datos, lo que a menudo limita la escala del dataset. Por ejemplo, REASSEMBLE contiene aproximadamente 4.000 demostraciones.
En cambio, este trabajo tiende un puente entre los datasets generalistas a gran escala y las necesidades de precisión de la industria. Las políticas basadas en visión pueden aprender implícitamente la dinámica del contacto necesaria para ensamblajes con tolerancias estrictas cuando cuentan con una escala de datos y una diversidad de hardware considerables. Con este fin, el dataset reúne 5.000 trayectorias que cubren una amplia variedad de escenarios de tareas industriales, recopiladas en múltiples plataformas robóticas, entre ellas Franka, Realman y LEJU. Además, para permitir una evaluación rigurosa de la calidad de la interacción, una parte de los datos incorpora sensores táctiles y sirve como benchmark de alta fidelidad para pruebas y validaciones detalladas.
Dataset PRISM
PRISM, siglas de Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing, es un dataset para la manipulación industrial con abundante interacción por contacto.
Recopilación y procesamiento de datos
A diferencia de la mayoría de los datasets existentes, que dependen de una única interfaz de teleoperación, las demostraciones se recopilan mediante tres métodos complementarios: basados en exoesqueleto, basados en dispositivos de seguimiento y basados en realidad virtual. Este diseño no solo amplía la cobertura de estilos de control humano y comportamientos de interacción, sino que también permite comparar de forma controlada cómo cambia la calidad de los datos —en términos de suavidad, precisión, estabilidad del contacto y tasa de fallos— cuando una misma tarea se recopila con distintas modalidades de teleoperación. Asimismo, permite analizar cómo se traducen estas diferencias en el rendimiento del aprendizaje posterior.
El dataset incluye las configuraciones de hardware, la sincronización y calibración multimodales, así como las etapas de posprocesamiento necesarias para garantizar registros multimodales uniformes y de alta fidelidad en distintos robots, efectores finales y sesiones de recopilación.
Procesamiento
Tras la recopilación, los registros sin procesar se transforman en archivos de episodios con marcas de tiempo depuradas, parámetros de sensores calibrados y metadatos adecuados para el aprendizaje multimodal. Dado que los distintos sensores funcionan con frecuencias nativas diferentes, se conservan las marcas de tiempo originales de todos los flujos. Se proporciona un índice por episodio para alinear las modalidades mediante sus marcas de tiempo durante el entrenamiento, utilizando métodos como la correspondencia por vecino más cercano o la interpolación.
Se eliminan los episodios incompletos y se recortan los segmentos iniciales y finales de inactividad a partir de los marcadores de inicio y fin de la tarea y de las anotaciones de los operadores.
Empaquetado unificado de episodios
Todos los datos procesados se serializan siguiendo un esquema común compartido por las tres plataformas. El esquema incluye:
- Estados y acciones del robot, incluidos los ángulos y pares articulares, la pose del efector final y los estados de la pinza
- Fuerzas y pares del efector final, cuando están disponibles
- Observaciones RGB-D desde múltiples puntos de vista
- Imágenes visuotáctiles, cuando están disponibles
- Parámetros de calibración
- Marcas de tiempo
- Identificadores de plataforma
- Identificadores de tarea
- Etiquetas de resultado
- Valoraciones proporcionadas por los voluntarios
Esta composición estandarizada permite entrenar y evaluar sistemas en robots, efectores finales e interfaces de teleoperación heterogéneos, manteniendo una alineación multimodal coherente.
Configuración experimental
Plataforma
Los experimentos se realizan con un robot Realman bimanual equipado con una cintura de tres grados de libertad, equivalente a la morfología utilizada durante la recopilación de datos. Cada brazo incorpora una pinza paralela de dos mordazas impresa en 3D, y las observaciones visuales se capturan mediante cámaras RGB-D Intel RealSense D515.
La distribución del espacio de trabajo, el fondo y la configuración de la mesa se mantienen coherentes con el entorno de recopilación de datos, para garantizar que la evaluación refleje la misma configuración de sensado y las mismas restricciones físicas presentes en el dataset.
Procedimiento
Las políticas se evalúan en tres tareas representativas recopiladas en la célula de trabajo industrial:
- Conexión y desconexión de componentes electrónicos
- Empaquetado de un calibre Vernier
- Clasificación basada en cinta transportadora
Estas tareas representan, respectivamente, tres categorías habituales de la manipulación industrial: operaciones de precisión con abundante contacto, empaquetado de productos y clasificación dinámica de objetos.
Para cada tarea se recopilan 200 demostraciones. Cada demostración contiene observaciones RGB-D sincronizadas, secuencias de acciones y mediciones de fuerza y par del efector final en seis ejes.
Preguntas frecuentes
¿Para qué está diseñado el dataset PRISM? PRISM está diseñado para la manipulación industrial con abundante contacto y el aprendizaje robótico multimodal.
¿Cuántas trayectorias contiene PRISM? El dataset reúne 5.000 trayectorias que cubren una amplia variedad de escenarios de tareas industriales.
¿Qué métodos de teleoperación se utilizan para recopilar los datos? Las demostraciones se recopilan mediante métodos de teleoperación basados en exoesqueleto, dispositivos de seguimiento y realidad virtual.
¿Qué tareas se utilizan para evaluar las políticas? Las políticas se evalúan en la conexión y desconexión de componentes electrónicos, el empaquetado de un calibre Vernier y la clasificación basada en cinta transportadora.