Patch Policy investiga la eficacia de las características visuales a nivel de parche para el aprendizaje robótico, introduciendo una clase de política eficiente que aprovecha representaciones visuales densas preentrenadas para lograr un rendimiento superior mientras se mantiene computacionalmente ligera.
Aprendizaje de la Política
Esta formulación es independiente de la arquitectura de la cabeza de acción y del objetivo de entrenamiento. En nuestros experimentos, evaluamos Patch Policy utilizando dos arquitecturas de última generación: Vector-Quantized Behavior Transformer (VQ-BeT), que utiliza una función de pérdida híbrida de clasificación y regresión, y Diffusion Policy, que utiliza un objetivo de eliminación de ruido.
Durante el entrenamiento, pasamos una secuencia de tokens de parche a través del tronco del transformer de la política y la cabeza de acción, y calculamos una pérdida entre las acciones predichas y las reales para cada fotograma. Para la inferencia, extraemos las características de los parches de la observación actual y las añadimos a una ventana de contexto deslizante de longitud una longitud de secuencia configurable. La política predice un bloque de acciones a partir del contexto de observación, y ejecutamos las acciones con control de horizonte decreciente.
Experimentos
Evaluamos Patch Policy en cuatro entornos simulados y tres entornos de manipulación robótica real, con el objetivo de responder las siguientes preguntas clave de investigación:
- ¿Cómo se compara Patch Policy con las políticas de vanguardia que utilizan características globales y de parche?
- ¿Funciona Patch Policy para la manipulación precisa en el mundo real?
- ¿Cómo se desempeñan los codificadores preentrenados más recientes como representaciones para el aprendizaje de políticas posteriores?
- ¿Cómo impacta la compresión espacial de las características visuales en el rendimiento de la tarea posterior?
- ¿Cómo se compara Patch Policy con otros métodos en términos de eficiencia? ¿Cómo afectan el diseño de la atención y el tamaño del modelo a su rendimiento?
Entornos
Evaluamos Patch Policy en cuatro entornos simulados (Push-T, LIBERO Goal, BlockPush, Cube) con espacios de acción de 2D a 7D, y tres tareas del mundo real utilizando un brazo Franka de 7 grados de libertad con una pinza de mandíbula paralela (inserción de un cable de alimentación, colgar una herramienta y recoger bolígrafos en un soporte).
Líneas de Base
Comparamos con dos grupos de líneas de base. Para aislar el efecto de las características de parche, emparejamos las mismas cabezas de política (VQ-BeT, Diffusion Policy) con representaciones globales estándar: DynaMo, tokens CLS y promedio global. Para posicionar Patch Policy frente al estado del arte, comparamos con ACT y OpenVLA-OFT, que también consumen características densas. Nuestras representaciones y políticas de línea de base son las siguientes:
Líneas de Base de Representación Visual: - DynaMo: Una representación global promediada aprendida mediante una arquitectura predictiva de incrustación conjunta basada en dinámicas. - Tokens CLS: El token de clase del Vision Transformer, que representa un resumen comprimido de la escena. - Promedio Global: Una línea de base que colapsa el mapa de características espaciales en un solo vector mediante promedio global. - ACT: Un VAE condicional que predice bloques de acciones con ensamblaje temporal sobre bloques superpuestos, reduciendo el error compuesto en la manipulación fina. Utiliza características de parche de un codificador visual ResNet-18 entrenado desde cero. - OpenVLA-OFT: Un modelo Visión-Lenguaje-Acción que ajusta OpenVLA con decodificación de acciones paralela y regresión de acciones L1 para un entrenamiento e inferencia más rápidos. Se basa en un modelo LLM Llama-2 7B y consume características de parche fusionadas por canal de los codificadores visuales preentrenados DINOv2 y SigLIP.
Evaluación Comparativa de Representaciones Visuales Preentrenadas
Para todos los experimentos, congelamos el codificador de imágenes y entrenamos exclusivamente la política. Este enfoque aísla y evalúa las capacidades de representación listas para usar de cada backbone. Esta configuración congelada también nos permite precalcular las incrustaciones visuales, acelerando significativamente el entrenamiento.
Notablemente, la clasificación relativa de las representaciones visuales permanece notablemente consistente en diferentes arquitecturas de política para cualquier tarea dada. Esta consistencia sugiere que la calidad de la representación visual sigue siendo un cuello de botella principal para el aprendizaje de políticas, independientemente de la cabeza de acción posterior. Además, la clasificación promedio de estas representaciones se mantiene estable en todo el conjunto de tareas, subrayando la generalizabilidad de ciertos objetivos de preentrenamiento. Basándonos en estos hallazgos, recomendamos el uso de WebSSL o DINOv2 como backbones visuales para tareas de aprendizaje robótico.
Ablaciones Adicionales
El apéndice contiene más experimentos y detalles sobre máscaras de atención, tamaño del modelo y visualizaciones. Las políticas basadas en transformers tradicionalmente se condicionan en un solo token por paso de observación, permitiendo la aplicación directa de atención causal estándar a nivel de token. En Patch Policy, cada observación es ahora una secuencia de tokens y, por lo tanto, aplicamos una máscara de atención bloque-causal. En esta configuración, cada token de parche atiende completamente a todos los demás tokens de parche dentro del mismo fotograma, mientras que la atención entre fotogramas permanece estrictamente causal. Ablamos esta atención bloque-causal junto con otras dos opciones de enmascaramiento: atención completa sin enmascaramiento y token-causal, la implementación ingenua que trata cada parche como un paso de tiempo independiente.
Limitaciones
Si bien Patch Policy aprovecha eficazmente las características espaciales densas para el control, quedan varias direcciones para el trabajo futuro. Primero, nos centramos exclusivamente en backbones visuales congelados, y el trabajo futuro podría explorar el ajuste fino de extremo a extremo para adaptar estas representaciones a dominios visuales especializados. Segundo, los tokens densos aumentan la longitud de la secuencia y el tiempo de entrenamiento. Optimizaciones como FlashAttention podrían acelerar tanto el entrenamiento como la inferencia. Finalmente, Patch Policy se evalúa actualmente puramente como una política de clonación de comportamiento. Extender esta arquitectura basada en parches al aprendizaje por refuerzo podría ser una dirección prometedora para superar el techo de rendimiento de las demostraciones estáticas de expertos.
Conclusión
En este trabajo, investigamos la eficacia de las características a nivel de parche para el aprendizaje robótico e introducimos Patch Policy, una clase de política eficiente que aprovecha representaciones visuales densas preentrenadas. Logra un rendimiento superior mientras se mantiene computacionalmente ligera en cuanto a número de parámetros, cómputo de entrenamiento y latencia de inferencia, superando tanto a las políticas de características globales como a las VLA pesadas. Al mantener congelado el backbone visual e ingerir sus tokens de parche directamente a través de una máscara de atención bloque-causal, Patch Policy proporciona a la comunidad robótica un pipeline ligero y fácil de integrar para absorber el progreso continuo en el aprendizaje de representaciones visuales, sin sacrificar el entrenamiento rápido y el control de alta frecuencia que exige la manipulación en el mundo real.
Agradecemos a Mahi Shafiullah, Irmak Guzey, Kevin Wu, Hengkai Pan, Zifan Zhao, Alex Xiaole Jiang, Andre Wang, Zicheng Teng, Kanad Patel, Yvonne Wu, Zavier Andrianarivo por sus valiosas discusiones y comentarios. Este trabajo fue apoyado por subvenciones de LG, Qualcomm, Honda, Microsoft, Hyundai, el premio NSF 2339096 y los premios ONR N00014-21-1-2758 y N00014-22-1-2773, y AFOSR bajo la subvención FA95502310139. Lerrel Pinto cuenta con el apoyo de las becas Sloan, Packard y CIFAR.
Preguntas Frecuentes
¿En qué se diferencia Patch Policy del uso de tokens CLS o promedio global? Patch Policy preserva la estructura espacial completa de las características visuales al procesar todos los tokens de parche con atención bloque-causal, en lugar de comprimirlos en un solo vector global. Esta representación densa proporciona información espacial más rica para tareas de manipulación precisa.
¿Qué backbones visuales funcionan mejor con Patch Policy? WebSSL y DINOv2 son los backbones congelados de mejor rendimiento en todas las tareas evaluadas, y la clasificación se mantiene consistente independientemente de la cabeza de política utilizada. La calidad de la representación visual es un cuello de botella principal para el aprendizaje de políticas.
¿Funciona Patch Policy en robots reales, no solo en simulación? Sí, Patch Policy se validó en tres tareas de manipulación precisa del mundo real utilizando un brazo Franka de 7 grados de libertad: inserción de cable, colgar herramientas y recogida de bolígrafos en un soporte. Logró ejecuciones exitosas en las tres tareas.
¿Por qué Patch Policy congela el codificador visual en lugar de ajustarlo? Congelar el codificador aísla la evaluación de la calidad de representación de cada backbone y permite precalcular las incrustaciones visuales, lo que acelera significativamente el entrenamiento. El ajuste fino sigue siendo una opción para dominios visuales especializados.