La toma de decisiones humana abarca desde lo reflejo (ej., caminar) hasta lo deliberado (ej., jugar ajedrez), con variabilidad en el tiempo y esfuerzo dedicados a cada decisión. Este proceso es tanto iterativo como adaptativo, avanzando a través de una cadena de pasos lógicos que se escala con la complejidad de la decisión. Los modelos de lenguaje grande (LLMs) modernos exhiben un patrón similar: una clase amplia de LLMs "razonadores" logra un rendimiento sustancialmente mejor al generar tokens intermedios antes de la respuesta final. Preguntamos: ¿puede el cómputo iterativo y adaptativo beneficiar problemas de toma de decisiones secuenciales como la robótica? Para políticas robóticas, postulamos que los beneficios son dobles: toma de decisiones eficiente bajo variabilidad de tareas y mejora en la generalización. Sin embargo, transferir directamente métodos de modelos de lenguaje probablemente no sea suficiente, ya que los tokens lingüísticos pueden no capturar los matices necesarios para la comprensión espacial y movimientos precisos. Por lo tanto, proponemos que las políticas robóticas razonen de forma iterativa en un espacio latente aprendido de extremo a extremo para la predicción de acciones. Esto preserva los beneficios del cómputo iterativo y adaptativo, permitiendo que las representaciones intermedias capturen información relevante para el control a la granularidad adecuada.
Experimentos
Realizamos experimentos para responder las siguientes preguntas de investigación: (1) ¿Es LMP-una forma parametrizada una política de control generativa con buen rendimiento? (2) ¿Es LMP-la variante de tokenización un tokenizador de acciones efectivo? (3) ¿Muestra LMP una asignación adaptativa de cómputo en tiempo de prueba? (4) ¿Qué factores contribuyen al rendimiento de LMP?
Discusión
Dado que LMP se entrena con técnicas de RL basadas en muestreo, es sensible a los hiperparámetros. Por ejemplo, la distribución latente tiende a colapsar sin un búfer de lanzamiento suficientemente grande o sin regularización. Dejamos la exploración de una optimización estable y escalable del marco propuesto para trabajo futuro.
Detalles de las Líneas Base
En esta sección, describimos los detalles de los métodos base. Todas las políticas base utilizan un historial de observación de 1 y un fragmento de acción de 16. Entrenamos todas las bases durante el mismo número de pasos de gradiente que nuestro método. Estas son políticas de control generativas que modelan la distribución de acciones del experto utilizando un proceso de difusión de eliminación de ruido. Diffusion Policy es la variante de una sola tarea, y Large Behavior Model es la variante multitarea condicionada por lenguaje. Parametrizamos la red de predicción de ruido como un transformador bidireccional con condicionamiento de observación por atención cruzada. Usamos 100 pasos de difusión durante el entrenamiento y 10 pasos de difusión con el programador DDIM para la inferencia.
Detalles del Entorno
La plataforma es una configuración de manipulación de un solo brazo basada en un robot Franka de 7 grados de libertad. Las observaciones de imagen consisten en dos imágenes (180, 320) de una cámara de escena y una cámara de muñeca. Las observaciones de baja dimensión consisten en posiciones de articulación absolutas de 6 dimensiones y una posición de pinza absoluta de 1 dimensión, representada como un valor continuo en [0, 1]. Las acciones consisten en posiciones de articulación delta de 6 dimensiones y una posición de pinza absoluta de 1 dimensión. El controlador funciona a 10 Hz. Para garantizar comparaciones fiables, montamos una cámara aérea y usamos un programa para rastrear 20 configuraciones iniciales para cada tarea. El programa mezcla alfa la captura previa y el fotograma en vivo para que los objetos puedan reiniciarse alineándolos.
Evaluamos dos tareas de cero disparos aproximadamente dentro de la distribución de entrenamiento del conjunto de datos DROID, y dos tareas desafiantes donde recolectamos 100 demostraciones cada una y ajustamos las políticas.
bloque-cuenco (cero disparos) implica recoger un bloque cúbico y colocarlo en un cuenco. Los objetos se inicializan aleatoriamente en el espacio de trabajo. Un episodio se considera exitoso si la pinza suelta el bloque dentro del cuenco. Instrucción en lenguaje: "Toma el bloque y ponlo en el cuenco."
marcador-taza (cero disparos) implica recoger un marcador y dejarlo caer en una taza. Los objetos se inicializan aleatoriamente en el espacio de trabajo. Un episodio se considera exitoso si la pinza suelta el marcador dentro de la taza. Instrucción en lenguaje: "Toma el marcador y ponlo en la taza."
clavija-agujero (ajustado) es una tarea de manipulación de alta precisión que implica insertar una clavija cuadrada en una base con un agujero cuadrado. La base se inicializa aleatoriamente en una región cuadrada cerca del centro del espacio de trabajo, y la clavija se inicializa aleatoriamente fuera de la región cuadrada. Un episodio se considera exitoso si la pinza inserta la clavija de forma segura en la base. Instrucción en lenguaje: "Inserta la clavija en el agujero."
limpiar-mesa (ajustado) es una tarea de manipulación composicional que implica colocar 3 objetos dispersos en el espacio de trabajo dentro de un cuenco. Recolectamos demostraciones eligiendo aleatoriamente 3 objetos de un conjunto de 7 objetos. Medimos el éxito parcial de limpiar al menos 1, 2 y 3 objetos. Instrucción en lenguaje: "Limpia la mesa."
Distribución de Tasas de Éxito en LIBERO-90
Mientras que tanto LMP-la forma parametrizada como DP logran un éxito casi perfecto en la mayoría de las tareas, LMP-la forma parametrizada disminuye a un ritmo más lento, marcando una mejor generalización a través de semánticas de tareas y menos interferencia entre tareas.
Análisis Cualitativo Adicional del Cómputo en Tiempo de Prueba
Construimos un experimento analítico en d3il-stacking para entender cualitativamente la asignación de cómputo en tiempo de prueba. Mantenemos la pinza en una posición abierta y deslizamos un bloque a través de la pinza abierta, mientras consultamos continuamente a la política por el número promedio de pasos latentes. A medida que el bloque se mueve, el número de pasos latentes alcanza el punto más bajo en el momento en que el bloque está justo debajo de la pinza. Esto muestra cualitativamente una correlación entre los pasos de razonamiento y el posible movimiento de la pinza.
Encontramos que en varias tareas simuladas y del mundo real, el número de pasos latentes es bajo durante la sujeción y liberación, y alto durante la alineación y otros movimientos. No observamos tanta variación de pasos latentes en tareas más simples como Robomimic lift y can, o D3IL aligning y sorting donde el efector final es una clavija.
Preguntas Frecuentes
¿En qué se diferencia el Palacio de la Memoria Latente de las políticas estándar basadas en difusión? LMP utiliza razonamiento latente iterativo en un espacio latente aprendido en lugar de eliminar ruido en el espacio de acciones, lo que permite una asignación adaptativa de cómputo en tiempo de prueba.
¿Qué tipos de tareas se benefician más del cómputo adaptativo de LMP? Las tareas complejas que requieren alineación o movimientos precisos ven conteos altos de pasos latentes durante fases críticas, mientras que las tareas de sujeción más simples usan menos pasos.
¿Es el marco LMP sensible a la elección de hiperparámetros? Sí, la distribución latente puede colapsar sin un búfer de lanzamiento suficientemente grande o regularización, lo que hace que la optimización estable sea un área de trabajo futuro.
¿Cómo se evalúa LMP en términos de generalización? Se prueba en tareas de cero disparos del conjunto de datos DROID y se ajusta en tareas de alta precisión como inserción de clavija, mostrando una mejor generalización entre tareas en comparación con las líneas base de difusión.