Presentamos un estudio sistemático del ensamblaje bimanual de muebles a escala real utilizando Modelos de Visión-Lenguaje-Acción (VLAs). Desarrollamos un pipeline de simulación escalable y un sistema de teleoperación VR para la recolección de datos a gran escala, proponemos un VLA mejorado con indicador de progreso para mejorar la ejecución a largo plazo, y realizamos un estudio enfocado en los factores de diseño del VLA para la precisión en el ensamblaje. Este trabajo representa un paso hacia la implementación de VLAs en tareas de manipulación complejas y reales.
Tareas de Ensamblaje de Muebles Bimanuales
Configuración de Hardware. El ensamblaje se realiza sobre una mesa usando dos brazos robóticos Kinova Gen3 de 7 GDL, con un gripper Robotiq Hand-E en el brazo izquierdo y un Robotiq 2F-85 en el derecho. Además de las cámaras frontal y montadas en la muñeca comúnmente usadas en trabajos previos con VLA, agregamos una cámara trasera para proporcionar vistas complementarias, ya que las piezas grandes de muebles y las frecuentes interacciones bimanuales suelen ocluir las observaciones frontales.
Propiedades de las Tareas. Estudiamos el ensamblaje bimanual a escala real usando tres muebles de IKEA con dificultad creciente: mesa auxiliar LACK, estante KALLAX y silla IVAR. Definimos descomposiciones en subtareas con instrucciones de lenguaje correspondientes que son concisas, descriptivas y fundamentadas semánticamente. Nuestras tareas presentan las siguientes propiedades desafiantes:
- Ejecución a largo plazo. Cada ensamblaje requiere completar una secuencia estricta de subtareas, con horizontes que van de 4 (LACK, KALLAX) a 7 (IVAR), y de 650 a 1550 pasos de control (65-155 segundos), superando benchmarks anteriores.
- Inserción de alta precisión. Cada subtarea requiere una alineación precisa entre piezas bajo umbrales de traslación y rotación estrictos, más estrictos que en benchmarks de ensamblaje a escala de juguete.
- Habilidades de manipulación diversas. Cada subtarea se especifica mediante una instrucción de lenguaje estructurada (por ejemplo, "agarrar, alinear e insertar una pieza") y requiere combinar múltiples habilidades de manipulación, como agarre, alineación, inserción, levantamiento y rotación. Un ensamblaje simple (LACK con 4 subtareas) implica aproximadamente 12 ejecuciones de habilidades, mientras que ensamblajes más complejos como IVAR pueden involucrar 25 habilidades debido a horizontes más largos y operaciones bimanuales adicionales.
- Coordinación bimanual. Varias subtareas requieren que ambos brazos actúen en conjunto sobre piezas grandes y pesadas. Por ejemplo, fijar el panel superior del KALLAX requiere levantar, rotar y alinear simultáneamente un panel de ancho completo con ambos brazos. Estas subtareas bimanuales implican hasta cuatro primitivas de acción secuenciales y deben mantener la alcanzabilidad y evitar singularidades durante todo el proceso.
Recolección de Datos del Mundo Real mediante Teleoperación VR
Para respaldar la implementación en el mundo real, desarrollamos un sistema de teleoperación VR para la recolección de demostraciones de alta calidad, que permite el control coordinado de dos brazos por un solo teleoperador en una plataforma Kinova Gen3. Dada la complejidad del ensamblaje bimanual de largo horizonte y alta precisión, adoptamos los siguientes principios de diseño:
- Control de traslación y rotación desacoplado. Los tres ejes de traslación se controlan simultáneamente para un movimiento suave del efector final, mientras que la rotación se maneja de forma independiente para mejorar la estabilidad y la precisión. Esto es crítico para subtareas de inserción precisas, como alinear los rieles en IVAR.
- Primitivas de agarre predefinidas. Definimos un conjunto de poses de agarre con variantes de orientación discretas, activadas mediante botones. Al activarse, la orientación del efector final se ajusta a una predefinida mientras mantiene su posición actual, eliminando la rotación manual de la muñeca y garantizando configuraciones consistentes y específicas para la tarea.
- Control bimanual sincronizado. Introducimos un modo sincronizado en el que ambos brazos ejecutan comandos reflejados simultáneamente, permitiendo el reposicionamiento, la alineación y la rotación eficientes de componentes de muebles grandes y pesados.
Experimentos de Simulación
Examinamos: 1) cómo el VLA mejorado con indicador de progreso mejora la ejecución a largo plazo; 2) cómo los factores clave de diseño de percepción y control afectan la precisión y el éxito del ensamblaje; y 3) ablaciones de nuestras elecciones de diseño.
Detalles de Implementación
Simulación. Usamos Isaac Gym, extendiendo el código base de FurnitureBench, con modelos 3D de muebles de 3D Warehouse, texturas de ambientCG y activos postprocesados en Blender 5.0.
Entrenamiento e Inferencia. Usamos un backbone VLA basado en [32] , afinado durante 40,000 pasos en 8 GPUs NVIDIA L40S con tamaño de lote global 64. La inferencia se ejecuta en una sola GPU L40S con parámetros de inferencia estándar.
Rendimiento de Ensamblaje a Largo Plazo
Configuración. Generamos 500 demostraciones por mueble para el afinamiento y evaluamos en 100 ejecuciones cada uno, entrenando un solo modelo VLA para todos los tipos de muebles.
Métricas de Evaluación. Reportamos la tasa de éxito del ensamblaje completo (es decir, completar todas las subtareas). Si alguna subtarea anterior falla, la ejecución termina, lo que resulta en una tasa de éxito monótonamente decreciente a través de las subtareas.
Experimentos del Mundo Real
Validamos nuestro enfoque en una plataforma bimanual real Kinova Gen3, probando en la silla IVAR, la más desafiante.
Detalles de Implementación
Usamos Quest2ROS para mapear las poses y entradas del controlador VR a comandos del efector final del robot. Se colocan marcadores de colores (por ejemplo, cinta negra y azul) en las piezas para ayudar al teleoperador con la alineación visual durante la recolección de demostraciones. Para las demostraciones teleoperadas recolectadas, filtramos las acciones de no operación siguiendo DROID, pero no recortamos los fotogramas iniciales y finales de cada segmento no inactivo, ya que contienen señales críticas que indican la finalización de la subtarea.
Rendimiento de Ensamblaje por Pieza
Configuración y Evaluación. Evaluamos cada subtarea de forma independiente. Inicializamos el robot y la escena en el estado de ensamblaje intermedio correspondiente y ejecutamos 15 ejecuciones por subtarea.
Resultados. Las tasas de éxito por pieza son consistentemente más altas que las tasas de ensamblaje completo, lo que confirma que los fallos se acumulan a lo largo de las subtareas en lugar de provenir de un único modo de fallo catastrófico. La subtarea 5 sigue siendo la más desafiante debido a sus altos requisitos de precisión.
Conclusión y Discusión
Presentamos FurnitureVLA, el primer estudio sistemático del ensamblaje bimanual de muebles a escala real con VLAs. Construimos un pipeline de simulación escalable y un sistema de teleoperación VR para la recolección de datos a gran escala, proponemos un VLA mejorado con indicador de progreso para mejorar la ejecución a largo plazo, y realizamos un estudio enfocado en los factores de diseño del VLA para la precisión en el ensamblaje. Consideramos este trabajo como un paso hacia la implementación de VLAs en tareas de manipulación complejas y reales.
Limitaciones. Nuestra configuración de base fija limita el ensamblaje a muebles dentro del espacio de trabajo cinemático del robot; las plataformas bimanuales móviles podrían manejar piezas más grandes. También evitamos el atornillado con imanes; extender al uso de herramientas sigue siendo un desafío abierto que requiere una precisión significativamente mayor.
Resumen del Apéndice
Este apéndice incluye: 1) detalles adicionales sobre la construcción del entorno de simulación, 2) detalles del sistema del mundo real, y 3) más detalles experimentales sobre el entrenamiento y el desglose de resultados.
Modelos de Muebles
Los muebles de IKEA utilizados se pueden comprar en línea. Los modelos 3D y texturas también están disponibles públicamente para reproducibilidad. Los muebles utilizados son: - Mesa auxiliar LACK (serie: 30449908) - Estante KALLAX (serie: 90301555) - Silla IVAR (serie: 90263902)
Los nombres de las piezas se definen manualmente según su ubicación espacial relativa a la pieza base en la configuración ensamblada. En simulación, a todas las piezas se les asigna una densidad de madera de pino, consistente con los componentes reales de IKEA.
Experimentos y Detalles Adicionales
Hiperparámetros de Entrenamiento. Realizamos un afinamiento completo del backbone VLA usando hiperparámetros estándar.
Desglose de Resultados de Simulación. Las tasas de éxito de subtareas de las tablas principales de simulación se visualizan en el desglose completo de resultados.
Preguntas Frecuentes
¿Cuántas demostraciones se necesitan para entrenar FurnitureVLA? Generamos 500 demostraciones por tipo de mueble para el afinamiento, y entrenamos un solo modelo VLA para los tres tipos de muebles simultáneamente.
¿Qué hace que la silla IVAR sea el ensamblaje más desafiante? La silla IVAR requiere 7 subtareas e implica hasta 25 ejecuciones de habilidades, incluyendo operaciones bimanuales como levantar y rotar coordinadamente el marco de la silla parcialmente ensamblado.
¿Cómo permite el sistema de teleoperación VR el control bimanual por un solo operador? El sistema utiliza control de traslación/rotación desacoplado, primitivas de agarre predefinidas y un modo sincronizado donde ambos brazos ejecutan comandos reflejados simultáneamente para una manipulación coordinada.
¿Cuáles son las principales limitaciones del enfoque actual? La configuración de base fija limita el ensamblaje a muebles dentro del espacio de trabajo cinemático del robot, y el sistema evita el atornillado con imanes, dejando el uso de herramientas como un desafío abierto.