Presentamos AXIS, una infraestructura web, impulsada por la comunidad, para la recolección escalable de datos de manipulación mediante teleoperación MuJoCo-WASM en el navegador y generación automatizada de tareas. Construimos un conjunto de datos de manipulación en crecimiento que comprende 207 tareas, más de 50,000 trayectorias, junto con un pipeline unificado de procesamiento de datos para estandarización de trayectorias, validación de éxito, filtrado de calidad, suavizado temporal, remuestreo, aumento visual y físico basado en IsaacSim, y capturas de tareas versionadas. Introducimos un protocolo de evaluación sistemático para estudiar el aprendizaje de políticas y el escalado de conjuntos de datos intra-embodiment, incluyendo comparaciones estandarizadas de referencia y experimentos de escalado controlados utilizando las capturas de AXIS-25%/50%/100% bajo un conjunto de evaluación fijo reservado.
Recolección Escalable de Datos Robóticos
La capa de datos convierte las demostraciones comunitarias sin procesar en trayectorias robóticas listas para entrenamiento mediante validación, filtrado, refinamiento y aumento. Dado que las demostraciones son recolectadas de operadores humanos en lugar de controladores programados, los datos resultantes contienen diversidad conductual en la dirección de aproximación, el tiempo de agarre, el comportamiento de corrección y el estilo de ejecución.
Las demostraciones completadas se serializan en un formato de trayectoria unificado. Cada trayectoria contiene metadatos de la tarea, embodiment robótico, identificador de entorno, versión del simulador, marcas de tiempo, observaciones, estados del robot, acciones e información de éxito. Los campos opcionales incluyen estados de objetos, flujos de cámara, marcadores de segmentación y etiquetas de fallo cuando están disponibles. Este formato hace que las demostraciones sean reproducibles, filtrables y compatibles con el aprendizaje de políticas descendente.
El Conjunto de Datos AXIS Franka
Validación y refinamiento. Para garantizar la calidad de los datos, todas las demostraciones pasan por un pipeline de validación estandarizado que verifica la integridad de la trayectoria, el éxito de la tarea y la consistencia física. Las trayectorias válidas se suavizan y remuestrean posteriormente a una frecuencia de control unificada, mejorando la consistencia temporal y reduciendo el ruido de teleoperación. El proceso de refinamiento reduce sustancialmente la aceleración y el tirón (jerks) mientras mantiene una alta tasa de éxito de reproducción. Los detalles de implementación adicionales se proporcionan en el Apéndice.
Aumento de datos. Para mejorar la diversidad y robustez, AXIS incorpora aumento mediante aleatorización espacial y visual. Estos aumentos generan configuraciones de escena adicionales válidas mientras preservan la semántica de la tarea y las condiciones de éxito. Las variaciones resultantes cubren cambios en disposiciones de objetos, puntos de vista, texturas, iluminación y fondos, expandiendo el conjunto de datos a más de 60,000 variantes de escena. Esta diversidad hace que AXIS sea particularmente útil para estudiar la robustez y generalización bajo variaciones ambientales.
El benchmark admite dos modos de evaluación complementarios. Primero, AXIS permite la comparación directa entre familias de políticas representativas, incluyendo métodos convencionales de aprendizaje por imitación visuomotora y políticas de visión-lenguaje-acción. Segundo, AXIS admite estudios de escalado intra-embodiment, donde las políticas se entrenan en capturas de AXIS-25%, AXIS-50%, AXIS-100% y futuras más grandes para medir si una mayor cobertura de tareas mejora la generalización de manipulación retenida. Juntas, estas propiedades posicionan a AXIS no solo como un conjunto de datos de manipulación a gran escala, sino también como un benchmark a largo plazo para estudiar el aprendizaje robótico escalable y la generalización impulsada por datos.
Configuración Experimental
Conjunto de datos AXIS. El corpus de entrenamiento de AXIS se recolecta a través del frontend de teleoperación MuJoCo-WASM basado en navegador y se almacena en el formato unificado de trayectoria AXIS. El embodiment robótico es un brazo robótico Franka Research 3 con una garra de mordaza paralela; las tareas cubren comportamientos de manipulación en mesa que incluyen pick-and-place, apilamiento y clasificación, interacción con objetos articulados, empuje, vertido y manipulación tipo herramienta. Las demostraciones sin procesar pasan por el pipeline de procesamiento AXIS (validación de éxito, eliminación de segmentos estáticos, suavizado Savitzky-Golay, remuestreo a tasa fija) y luego se reproducen en IsaacSim bajo condiciones visuales y físicas aleatorizadas. Utilizamos la captura AXIS-100% como el grupo de preentrenamiento continuo más grande, y muestreamos uniformemente sin reemplazo a nivel de tarea para construir los subconjuntos del 25% y 50% utilizados en experimentos de escalado.
Protocolo de evaluación. Todas las políticas se evalúan en la suite de robustez LIBERO-Plus, que extiende LIBERO con perturbaciones sistemáticas a lo largo de siete ejes (Cámara, Luz, Ruido de Sensor, Fondo, Disposición, Lenguaje, Robot). Para cada par (tarea, eje de perturbación) fijamos el presupuesto de ejecuciones a un número constante de ejecuciones en todas las condiciones, e informamos la tasa de éxito media sobre las ejecuciones. Como prueba de cordura dentro de la distribución, también informamos la tasa de éxito en la división de tareas retenidas de AXIS-100% en sí mismo; esto confirma que el preentrenamiento continuo de AXIS no desplaza destructivamente la política fuera de la distribución de tareas de AXIS.
Discusión
Por qué los conjuntos de datos crecientes son importantes. Los conjuntos de datos estáticos son valiosos para la evaluación comparativa, pero el aprendizaje de manipulación robótica también se beneficia de fuentes de datos que pueden crecer con la capacidad del modelo y los fallos observados. AXIS convierte la recolección de datos en un bucle de retroalimentación iterativo: nuestro módulo de generación de tareas expande la diversidad semántica a través de nuevos problemas de manipulación, la teleoperación comunitaria añade diversidad conductual a través de estrategias humanas y correcciones variadas, y el aumento visual y físico expande la diversidad ambiental a través de cambios en apariencia, configuración de escena y dinámica. En este sentido, el crecimiento del conjunto de datos se convierte en un mecanismo para mejorar la robustez de la política en lugar de un proceso de publicación único.
Recolección comunitaria y calidad de datos. La recolección impulsada por la comunidad mejora la escala y accesibilidad, pero introduce una variación significativa en la habilidad del operador, suavidad del movimiento, estrategia y calidad de finalización de la tarea. La variación útil expone las políticas a agarres diversos, recuperaciones y patrones de corrección, mientras que la variación dañina aparece como estados corruptos, segmentos inactivos, ejecuciones fallidas, discontinuidades o acciones inestables. AXIS aborda este equilibrio al hacer de la validación, limpieza, suavizado, reproducción y aumento etapas centrales de la construcción del conjunto de datos, unificando la participación amplia con el control de calidad necesario para el aprendizaje de políticas descendente.
Conclusión
Introdujimos AXIS, un motor de datos y benchmark creciente impulsado por la comunidad para el aprendizaje escalable de manipulación robótica. AXIS combina teleoperación MuJoCo-WASM basada en navegador, generación automatizada de tareas, recolección distribuida de demostraciones, procesamiento estandarizado de trayectorias, aumento basado en IsaacSim y evaluación de protocolo fijo. Construye un conjunto de datos listo para entrenamiento que puede expandirse a través de nuevas tareas, demostraciones y condiciones aumentadas, mientras permite comparaciones controladas entre políticas de visión-lenguaje-acción. En términos más generales, AXIS apunta hacia pipelines de datos robóticos continuamente extensibles que conectan la generación de tareas, la recolección comunitaria, el entrenamiento de políticas y la mejora impulsada por fallos.
Limitaciones y Trabajo Futuro. AXIS actualmente se centra en la manipulación simulada en mesa con Franka, y la transferencia sim-to-real sigue siendo un desafío abierto. El trabajo futuro expandirá AXIS para incluir más embodiments robóticos, modalidades de detección más ricas, tareas de horizonte más largo, anotaciones más detalladas y recolección de datos activa impulsada por fallos para apoyar un aprendizaje robótico más generalizable y escalable.
Preguntas Frecuentes
¿Qué es el motor de datos AXIS y cómo permite la recolección escalable de datos de manipulación robótica? AXIS es una infraestructura web, impulsada por la comunidad, que utiliza teleoperación MuJoCo-WASM basada en navegador y generación automatizada de tareas para recolectar datos de manipulación escalables de más de 70,000 miembros de la comunidad.
¿Cómo asegura AXIS la calidad de los datos a pesar de provenir de diversos operadores humanos? El sistema aplica un pipeline de validación estandarizado que verifica la integridad de la trayectoria, el éxito de la tarea y la consistencia física, seguido de suavizado, remuestreo y aumento de datos para abordar la variación en la habilidad del operador y la suavidad del movimiento.
¿Qué tareas robóticas y embodiments cubre el conjunto de datos AXIS Franka? El conjunto de datos se centra en el brazo robótico Franka Research 3 con una garra de mordaza paralela, cubriendo 207 tareas de manipulación en mesa que incluyen pick-and-place, apilamiento, clasificación, interacción con objetos articulados, empuje, vertido y comportamientos tipo herramienta.
¿Cómo está diseñado el benchmark AXIS para evaluar el aprendizaje de políticas y el escalado? El benchmark admite la comparación directa entre familias de políticas y estudios de escalado intra-embodiment utilizando capturas de AXIS-25%, 50% y 100%, con evaluación en la suite de robustez LIBERO-Plus a través de siete ejes de perturbación.