Presentamos WEAVER, un modelo generativo del mundo a gran escala para la manipulación robótica que permite una evaluación eficiente de políticas, mejora y planificación en tiempo de prueba mediante simulaciones imaginadas de alta calidad. WEAVER supera a enfoques anteriores en múltiples tareas de manipulación, generando predicciones más largas y precisas con una inferencia más rápida.
Resultados
Primero estudiamos el rendimiento del modelo del mundo WEAVER de forma aislada y luego en los casos de uso posteriores de evaluación de políticas, mejora y planificación en tiempo de prueba.
Conclusión
Impacto más amplio. Este trabajo explora modelos del mundo a gran escala para mejorar la eficiencia, seguridad y escalabilidad de la manipulación robótica al reducir la dependencia de costosas interacciones en el mundo real. Las simulaciones imaginadas pueden apoyar la evaluación de políticas, la mejora y la planificación en tiempo de prueba antes de la ejecución, pero las predicciones inexactas o sesgadas pueden llevar a decisiones arriesgadas, lo que es particularmente importante en dominios críticos para la seguridad, como los robots de asistencia. Por lo tanto, un despliegue responsable requiere una validación cuidadosa, estimación de incertidumbre y salvaguardas contra la explotación de errores en los modelos aprendidos del mundo o de recompensa.
Detalles de las tareas
PnP Bag requiere que el robot recoja una bolsa de papas fritas y la coloque en un plato verde. Usamos dos tipos de bolsas de papas y seleccionamos una al azar en cada episodio. La bolsa es deformable, lo que dificulta predecir el resultado del agarre y el movimiento del objeto.
PnP Marker requiere que el robot recoja un marcador Expo que yace horizontalmente sobre la mesa y lo coloque dentro de un contenedor. El color del marcador se selecciona al azar entre negro y naranja, y el contenedor objetivo se selecciona al azar entre un vaso de papel y una taza azul. Esta tarea requiere un agarre preciso y una gran reorientación del efector final para insertar el marcador verticalmente.
PnP Towel requiere que el robot recoja una toalla y la coloque en una canasta. Usamos dos variantes de toalla, una toalla de cocina roja gruesa doblada y una toalla cuadrada gris delgada, y dos variantes de canasta, naranja y azul. La tarea es desafiante porque la toalla es deformable, y su forma resultante depende en gran medida de la ubicación del agarre y, para la toalla doblada, del número de capas agarradas.
Pour Beans requiere que el robot recoja una taza que contiene granos de café y los vierta en un tazón azul. Esta tarea prueba la manipulación dinámica, ya que el movimiento granular de los granos es difícil de predecir y la ejecución exitosa requiere un control preciso de la pose de la taza, el ángulo de vertido y el movimiento para evitar derrames fuera del tazón.
Espacio de acción
Para la evaluación de políticas, dado que las posiciones de las articulaciones al final de cada trayectoria ya están disponibles, usamos directamente las posiciones de las articulaciones como entradas al modelo del mundo. Sin embargo, durante la planificación en tiempo de prueba, las predicciones deben hacerse a partir de los comandos de velocidad de las articulaciones propuestos por la política. Por lo tanto, usamos el adaptador de acción entrenado para predecir las posiciones articulares correspondientes y condicionamos la generación del modelo del mundo en estas acciones adaptadas.
El adaptador de acción es un módulo feedforward ligero que conecta la representación de acción del modelo del mundo (comandos de velocidad articular y señales binarias del gripper) con el estado observable del robot (posiciones absolutas de las articulaciones y ancho del gripper). Dado el estado actual del robot y un bloque de hasta 10 acciones producidas por el modelo del mundo, predice la secuencia resultante de deltas de posición articular y posición del gripper, que luego se integran para obtener los estados absolutos futuros.
Observabilidad parcial
Nuestro modelo del mundo se basa principalmente en observaciones visuales, que solo proporcionan acceso parcial al estado físico subyacente. Durante la manipulación, la información relevante para la tarea, como los contactos con objetos, la estabilidad del agarre, las fuerzas aplicadas o la geometría de objetos ocluidos, puede estar oculta para todas las vistas de cámara disponibles. Esta limitación es especialmente pronunciada para las observaciones de la cámara de muñeca, donde el punto de vista cambia continuamente, y para escenas desordenadas donde los objetos pueden salir del campo de visión u ocultarse por el gripper. Aunque la memoria y el condicionamiento multivista mitigan este problema, la predicción puramente visual puede fallar cuando el estado faltante no puede inferirse solo del historial de imágenes. Incorporar modalidades de detección adicionales, como retroalimentación táctil, detección de fuerza-par o profundidad, puede mejorar la estimación del estado y la predicción a largo plazo bajo oclusión.
Interacciones complejas con objetos deformables y dinámicos
La manipulación de objetos deformables y la manipulación dinámica siguen siendo desafiantes para los modelos del mundo aprendidos. Objetos como toallas, bolsas y materiales granulares exhiben dinámicas de alta dimensión y dependientes de la historia que son difíciles de capturar con datos robóticos limitados. Pequeños errores en el contacto predicho, la ubicación del agarre o la configuración del objeto pueden acumularse con el tiempo y llevar a simulaciones cualitativamente incorrectas. Esto es particularmente evidente en tareas como el vertido, donde el movimiento del material granular depende sensiblemente de la pose de la taza, la velocidad y el contacto con el contenedor. El trabajo futuro puede mejorar la fidelidad de la predicción incorporando principios físicos, modelos híbridos neurofísicos o simuladores neuronales especializados en dinámicas deformables y granulares.
Horizonte de planificación limitado en tiempo de prueba
Aunque nuestras estrategias de aceleración de inferencia hacen que la planificación en tiempo de prueba sea factible con un modelo del mundo generativo grande, la latencia aún limita la planificación en línea a un solo bloque de acciones. Como resultado, el planificador puede mejorar la selección de acciones a corto plazo, pero aún no puede realizar una anticipación a largo plazo. Esto restringe su capacidad para razonar sobre consecuencias retrasadas o comportamientos de recuperación en múltiples etapas. Mejoras adicionales en la eficiencia del muestreo, la destilación del modelo, la estimación del valor o la planificación jerárquica podrían permitir un razonamiento en línea de horizonte más largo mientras se mantiene el control en tiempo real.
Cobertura de datos y diversidad de encarnaciones
Nuestro modelo del mundo se preentrena principalmente en DROID, que proporciona datos de interacción robótica a gran escala, pero aún está ligado a una encarnación robótica específica y una configuración de recolección de datos. Esto puede limitar la generalización a robots, configuraciones de cámara y efectores finales sustancialmente diferentes. Además, algunas dinámicas de tareas en nuestra evaluación, como el vertido de materiales granulares, están subrepresentadas en los datos de preentrenamiento. Escalar el entrenamiento del modelo del mundo a fuentes más diversas, incluyendo conjuntos de datos robóticos de múltiples encarnaciones, datos de simulación y videos humanos, puede mejorar la robustez y ampliar el rango de comportamientos que pueden imaginarse con precisión.
Preguntas frecuentes
¿Qué hace que WEAVER sea diferente de otros modelos del mundo para manipulación? WEAVER logra simulaciones imaginadas más largas y precisas que los enfoques anteriores, manteniendo una inferencia más rápida, lo que lo hace práctico para la planificación en línea en tiempo de prueba.
¿Qué tareas de manipulación se usaron para evaluar WEAVER? La evaluación incluye recoger y colocar objetos deformables (bolsas, toallas, marcadores) y manipulación dinámica (verter materiales granulares como granos de café).
¿Cuáles son las principales limitaciones del modelo WEAVER actual? Las limitaciones clave incluyen la observabilidad parcial a partir de entradas visuales, la dificultad con dinámicas deformables complejas, el horizonte de planificación limitado durante el tiempo de prueba y la diversidad restringida de encarnaciones en los datos de entrenamiento.
¿Cómo maneja WEAVER la brecha entre las acciones de velocidad y las entradas de posición articular? Un módulo adaptador de acción ligero predice los deltas de posición articular a partir de comandos de velocidad, conectando la brecha de representación de acción para el condicionamiento del modelo del mundo.