Introducción
Los grandes conjuntos de datos y las representaciones preentrenadas han impulsado los avances en el aprendizaje por imitación de robots. Las políticas basadas en difusión, emparejamiento de flujos y visión-lenguaje-acción ajustan predictores neuronales de acciones a demostraciones de expertos, a menudo mediante redes troncales visuales o de visión-lenguaje preentrenadas. Su éxito en manipulación y otras tareas robóticas ha convertido la clonación neuronal del comportamiento en un método eficaz para aprender habilidades a partir de ejemplos.
Sin embargo, este enfoque complica el despliegue y la revisión rápidos de comportamientos, y limita el acceso a la inteligencia robótica. Ajustar o adaptar una política puede requerir horas de cómputo en GPU, lo que encarece las actualizaciones frecuentes y a menudo exige recursos de cómputo en servidores. Una vez que las demostraciones se comprimen en los pesos de una red, resulta difícil atribuir acciones individuales a los ejemplos que las respaldan, y eliminar una demostración no deseada no elimina su influencia sin actualizar el modelo ajustado. La generalización a nuevas situaciones también sigue dependiendo de la tarea. Los diagnósticos basados en búsqueda muestran que la recuperación directa de trayectorias puede competir con las políticas de difusión, lo que motiva un enfoque complementario que conserva las demostraciones durante el despliegue. Nuestro objetivo es facilitar el despliegue y la revisión de las capacidades robóticas cuando el tiempo de cómputo y de ajuste es limitado.
Las políticas basadas en recuperación mantienen explícitas las demostraciones, seleccionan el comportamiento pertinente en el momento de la inferencia y lo adaptan a la consulta actual. Esto permite consultar los datos que respaldan cada comportamiento y convierte el banco de demostraciones en un punto directo de intervención. El desafío central es el desajuste entre la consulta y la demostración: el historial de observaciones y acciones que evoluciona con el robot no tiene por qué coincidir exactamente con una trayectoria registrada. Seleccionar o promediar acciones cercanas no reconcilia explícitamente ese historial con el comportamiento que le sigue. En su lugar, usamos las trayectorias recuperadas como modelo local para continuar las acciones: reconstruimos el pasado observado y aplicamos los coeficientes resultantes al futuro demostrado.
Presentamos Control predictivo del comportamiento (BPC), que combina una métrica de recuperación ajustada, un prior de continuación de acciones regularizado basado en matrices de Hankel y una corrección residual de un paso en forma cerrada. La métrica selecciona ventanas cuyos historiales aportan información sobre las acciones futuras. A continuación, BPC reconstruye el historial actual a partir de esas ventanas y utiliza los mismos coeficientes para predecir la continuación de sus acciones; un residuo ajustado sobre el mismo soporte corrige la acción para tener en cuenta efectos no lineales o de orden superior. Las características visuales preentrenadas y congeladas amplían la representación al control visuomotor. En este trabajo, mostramos que la localidad y la regularización pueden abordar el régimen no lineal, y presentamos un análisis que relaciona el error de la siguiente acción con los errores de reconstrucción del historial y de aproximación local.
BPC construye políticas sin entrenamiento integral de políticas, al tiempo que conserva las trayectorias que las respaldan. Las posiciones de las ventanas recuperadas y sus coeficientes también proporcionan una estimación intrínseca del progreso de la tarea. Los resultados en simulación y hardware muestran un rendimiento competitivo y generalización entre tareas y encarnaciones robóticas. Las configuraciones descritas reducen el ajuste de políticas de horas a segundos en GPU de consumo y funcionan incluso en el hardware integrado del robot, con control a 75 Hz en un Jetson Orin Nano. Esta combinación hace práctico construir políticas basadas en demostraciones con recursos de cómputo modestos, preservando al mismo tiempo el acceso a los datos que determinan el comportamiento.
Continuación local regularizada de acciones
Adaptamos al aprendizaje por clonación de comportamientos el problema de completar trayectorias de De Persis y Tesi: los datos de demostración constituyen una biblioteca de comportamientos. En lugar de predecir observaciones futuras a partir de un historial de observaciones y acciones ejecutadas, buscamos predecir la acción experta que debería seguir al historial observado.
Los índices temporales usan superíndices entre paréntesis; los índices de columnas de la biblioteca y de demostraciones usan subíndices. Consideremos una planta en lazo cerrado operada por un experto desconocido.
Composición de distribuciones de recuperación
La selección continúa entonces como antes sobre esta distribución posterior reordenada, que tiene en cuenta el historial.
Tiempo de cómputo
Se indican los costes de ajuste y ejecución de políticas de BPC para conjuntos de datos de distintas escalas. Incluso con conjuntos de datos enormes, BPC tarda solo 3 minutos en ajustarse y se mantiene holgadamente dentro de los límites de memoria de las GPU de consumo. Se ejecuta a 100 Hz en una RTX 4090.
Llevamos BPC al límite ajustándolo y desplegándolo en un Jetson Orin Nano de 8 GB. El ajuste tarda menos de 3 minutos y se ejecutó a bordo del dron a 75 Hz.
Limitaciones
BPC depende de la cobertura de las demostraciones y de que los historiales de observación contengan información suficiente para distinguir las acciones necesarias. La recuperación no puede resolver ambigüedades causadas por la falta de información sobre la tarea, y los comportamientos alejados de los estados demostrados pueden requerir acciones de recuperación que no estén presentes en el banco. La continuación afín permite extrapolar, pero unos coeficientes con valores absolutos grandes pueden amplificar el error de aproximación.
Nuestro análisis supone una política experta localmente suave y acota el prior de acción sin corregir; no garantiza estabilidad en lazo cerrado, seguridad ni finalización de la tarea tras la corrección residual. En concreto, observamos que el rendimiento varía entre tareas y que los resultados son débiles en Nut, Stack3 y Pen. Se necesita más investigación para identificar mecanismos o particularidades específicas de los conjuntos de datos que BPC pueda aprovechar.
Evitar el entrenamiento integral de políticas no elimina el ajuste ni la preparación de datos. BPC sigue ajustando los componentes de recuperación y residuales, y conservar el banco de demostraciones también implica costes de almacenamiento y recuperación que aumentan con el tamaño del conjunto de datos. Aunque BPC ya resulta prometedor para grandes conjuntos de datos de una sola tarea, el trabajo futuro se dedicará a ampliar masivamente este paradigma a entornos multitarea y a muchas más demostraciones.
Agradecimientos
Codex se utilizó para redactar partes de las matemáticas de las Secciones 3 y 4 y preparar el formato LaTeX. Su sistema de generación de imágenes se utilizó para crear las ilustraciones conceptuales del brazo robótico y el dron.
Codificadores de observaciones
Para cada tarea, este codificador se entrena desde cero con el subconjunto de demostraciones seleccionado, mediante un objetivo auxiliar de clonación del comportamiento, durante 2,000 actualizaciones, con un tamaño de lote de 32 y una tasa de aprendizaje [valor de la tasa de aprendizaje no indicado en el texto fuente]. El modelo auxiliar utiliza dos pasos de observación y predice 16 pasos de acción; estos son los parámetros del entrenamiento del codificador y son distintos del historial y la continuación de 10 pasos de BPC.
Para BPC solo se conserva el codificador de nubes de puntos, que permanece congelado durante la recuperación, el ajuste residual y el despliegue. Por tanto, la canalización 3D descrita incluye entrenamiento de un codificador específico para cada tarea; no utiliza pesos publicados de SDP ni la alternativa pública PointNet++. Los latentes de PointNet preentrenado y congelado alcanzan tasas de éxito ligeramente inferiores en estas tareas de destreza.
Hiperparámetros de recuperación y residuales
Se utilizan dos mapas de características aleatorias distintos: el mapa de recuperación del Análisis discriminante lineal y el mapa de corrección residual. Ambos contienen 16,384 características; la representación de recuperación reducida tiene rango 70. El ajuste de recuperación utiliza hasta 8,192 anclas. Estas dimensiones no deben confundirse con las dimensiones de los embeddings de imágenes o nubes de puntos.
La configuración de recuperación archivada utiliza el ajuste Fisher-LDA con modelo docente de entropía. La salida afín utiliza el solucionador exacto con una restricción de suma igual a uno y sin penalización adicional por [valor del término de regularización no indicado en el texto fuente].
Preguntas frecuentes
¿Qué es el Control predictivo del comportamiento? El Control predictivo del comportamiento es un método de construcción de políticas basado en la recuperación que utiliza trayectorias demostradas para continuar acciones y aplica una corrección residual.
¿Requiere BPC entrenamiento integral de políticas? No. BPC evita el entrenamiento integral de políticas, pero ajusta los componentes de recuperación y residuales y conserva el banco de demostraciones.
¿A qué velocidad puede funcionar BPC en hardware robótico? BPC permite controlar a 75 Hz en un Jetson Orin Nano y desplegar a 100 Hz en una RTX 4090.
¿Cuáles son las principales limitaciones de BPC? BPC depende de la cobertura de las demostraciones y de historiales de observación informativos, y no garantiza estabilidad en lazo cerrado, seguridad ni finalización de la tarea tras la corrección residual.