Chronos Policy hace explícitos en la política los tiempos de observación y acción. Cada observación se asocia al momento en que se capturó, y cada acción predicha, al momento en que debe ejecutarse. La política utiliza un transformer de difusión con RoPE sensible al tiempo, que introduce el tiempo mediante la atención sin modificar las incrustaciones de los tokens. Durante el entrenamiento, también se varían los tiempos de observación y acción preservando sus marcas de tiempo, para que la política aprenda a interpretar los cambios de temporización que podría encontrar durante el despliegue.
Método
Formulación de la política en tiempo físico
Supongamos que las observaciones se capturan en sus respectivos momentos. En un momento de solicitud dado, la política consulta un bloque de acciones con un número especificado de pasos, que comienza tras un retardo y continúa con un intervalo de acción especificado.
Esta formulación hace explícita la información temporal. La separación entre observaciones refleja la frecuencia de observación; la brecha entre los tiempos de observación y acción refleja el retardo de medición y la latencia de ejecución; y el intervalo de acción especifica la frecuencia de ejecución deseada. En la percepción multimodal, cada modalidad conserva sus propios tiempos de captura, en lugar de alinearse con una cuadrícula de muestreo común.
Codificación del tiempo físico en la política
Dadas las marcas de tiempo explícitas en las entradas de la política, la información temporal puede incorporarse a la red de distintas maneras. Una opción es codificar cada marca de tiempo y sumarla directamente a la incrustación del token correspondiente, de modo que el tiempo modifique la representación del token. Otra opción es mantener sin cambios la incrustación del token y utilizar el tiempo solo mediante la codificación posicional de la atención. Esta última opción es sistemáticamente más robusta ante la variación temporal, por lo que Chronos Policy utiliza RoPE sensible al tiempo.
A cada token se le asigna una marca de tiempo físico relativa al momento de solicitud de la política. Los parches de imagen heredan el tiempo de captura de su fotograma; los tokens propioceptivos y de fuerza/par reciben sus tiempos de medición; y los tokens de acción, los tiempos de ejecución consultados. Las marcas de tiempo de las observaciones indican cuándo se capturaron las mediciones con respecto a la solicitud, mientras que las marcas de tiempo de las acciones se sitúan en el futuro según el programa de ejecución solicitado. Las incrustaciones de modalidad y espaciales siguen representando el contenido de los tokens, mientras que el tiempo físico se incorpora por separado mediante la codificación posicional rotatoria.
Todas las marcas de tiempo se expresan con respecto al momento de solicitud de la política. En el caso de los tokens de acción, esto significa que la latencia de inferencia desplaza hacia el futuro los tiempos de acción consultados. La coordenada rotatoria es la marca de tiempo relativa a ese momento de solicitud, y la interacción resultante entre consulta y clave depende únicamente del tiempo físico transcurrido.
Así, la atención depende directamente del tiempo físico transcurrido. Dos observaciones separadas por 20 ms y 200 ms tienen relaciones temporales distintas, aunque ocupen las mismas posiciones en la secuencia. Al mismo tiempo, desplazar todas las marcas de tiempo en la misma medida deja inalterada la representación. En comparación con sumar el tiempo directamente a las incrustaciones de los tokens, RoPE sensible al tiempo mantiene separados el contenido de los tokens y la temporización, a la vez que hace explícitas en la atención las relaciones temporales por pares.
Experimentos
Los experimentos abordan tres preguntas: cuándo resulta útil la información temporal, qué componentes de la política sensible al tiempo son importantes y si añadir información temporal perjudica las tareas en las que la temporización importa menos. La evaluación abarca tareas dinámicas, en las que las acciones dependen de cómo cambia el entorno con el tiempo; tareas multisensoriales, en las que importa la temporización entre observaciones; y tareas estándar de manipulación cuasiestática, utilizadas para comprobar si Chronos Policy mantiene el rendimiento nominal y, a la vez, mejora la robustez ante cambios en la temporización durante el despliegue.
Tareas y configuración de la evaluación
La evaluación abarca tres tipos de tareas. Conveyor es una tarea dinámica de recoger y colocar con velocidad aleatoria de la cinta, en la que la política debe tener en cuenta el movimiento del objeto y el tiempo transcurrido entre la percepción y la ejecución de la acción. Pivoting es una tarea multisensorial con mucho contacto que combina visión, propiocepción y mediciones de fuerza/par adquiridas a distintas frecuencias y en distintos momentos. Seis tareas estándar de manipulación cuasiestática permiten comprobar si el modelado explícito del tiempo mantiene el rendimiento cuando la temporización es menos crítica.
Cada política se evalúa en distintas condiciones de temporización. Nominal utiliza la temporización observada durante el entrenamiento. La temporización de las observaciones se varía modificando la frecuencia y el retardo de percepción, y la latencia de inferencia se varía modificando el retardo antes de ejecutar las acciones predichas. La condición combinada varía tanto la temporización de las observaciones como la latencia de inferencia, lo que proporciona una prueba más exigente de robustez ante el desajuste temporal.
¿Cuándo es útil la información temporal?
En Conveyor, Chronos Policy mejora el éxito nominal del 73.1% al 82.0%. La diferencia aumenta cuando cambia la temporización durante el despliegue: con una variación moderada de las observaciones, Diffusion Policy cae al 15.6%, mientras que Chronos Policy mantiene un 77.6%; con retardos de inferencia de hasta 200 ms, Diffusion Policy desciende al 1.8%, mientras que Chronos Policy alcanza el 76.4%. Incluso con la perturbación combinada, Chronos Policy mantiene un 32.7% de éxito, mientras que Diffusion Policy falla por completo.
El orden de la secuencia por sí solo no basta para determinar el movimiento del objeto cuando varían los intervalos entre observaciones, ni para determinar con cuánta antelación actuar cuando la ejecución se retrasa. Proporcionar los tiempos de observación y acción permite a la política interpretar directamente estos cambios.
¿Qué hace que una política sea sensible al tiempo?
Los experimentos evalúan mediante ablaciones dos decisiones de diseño de Chronos Policy: la variación temporal durante el entrenamiento y la representación del tiempo físico en el transformer.
La aleatorización temporal expone la política a una mayor variedad de programas de percepción y ejecución que pueden presentarse durante el despliegue. También permite que el entrenamiento utilice mediciones que, de otro modo, se descartarían al reducir la frecuencia de las demostraciones para ajustarlas a una cuadrícula temporal fija. Esta diversidad adicional puede actuar como aumento de datos. En Conveyor, la aleatorización temporal por sí sola aumenta del 6.3% al 26.9% el éxito promedio de Diffusion Policy en las cinco condiciones perturbadas. Incluso sin marcas de tiempo, exponer la política a una mayor variación temporal puede mejorar la robustez cuando la estructura temporal relevante es relativamente sencilla.
La misma estrategia no se generaliza a la tarea multisensorial Pivoting. Allí, la aleatorización temporal reduce el promedio en condiciones perturbadas del 48.4% al 21.6%. Sin marcas de tiempo, la política no puede saber qué temporización generó cada historial muestreado: las mismas posiciones de la secuencia pueden corresponder a distintos intervalos físicos, y las mediciones asíncronas de distintas modalidades se vuelven difíciles de interpretar.
Una vez que el tiempo físico se hace explícito, la aleatorización temporal resulta sistemáticamente útil. Aumenta el promedio en condiciones perturbadas del 48.8% al 63.1% en Conveyor y del 33.3% al 55.3% en Pivoting. La aleatorización temporal amplía la distribución de entrenamiento, mientras que las marcas de tiempo hacen interpretable esa variación.
¿Perjudica el tiempo a la manipulación cuasiestática estándar?
Las seis tareas estándar de manipulación cuasiestática evalúan situaciones en las que la temporización precisa es menos crítica. Con temporización nominal, Chronos Policy y Diffusion Policy alcanzan un rendimiento comparable, lo que demuestra que modelar explícitamente el tiempo no sacrifica rendimiento.
La ventaja se hace evidente cuando la temporización durante el despliegue difiere de la del entrenamiento. Promediado entre las cinco condiciones perturbadas, el éxito aumenta del 59.7% con Diffusion Policy al 73.4% con Chronos Policy, con las mayores mejoras ante una amplia variación de la percepción y perturbaciones combinadas.
En conjunto, Chronos Policy mantiene el rendimiento nominal y ofrece una robustez considerablemente mayor ante el desajuste temporal. Cuando la temporización es similar a la configuración de entrenamiento, el tiempo explícito no sacrifica rendimiento; cuando cambia la temporización de la percepción o la inferencia, proporciona a la política información sobre los tiempos de observación y acción que no está presente en la línea base.
¿Mejora la sensibilidad al tiempo la robustez en el mundo real?
Chronos Policy obtiene la puntuación más alta en todas las condiciones evaluadas de las tres tareas del mundo real. La ventaja se mantiene ante perturbaciones de observación, latencia de inferencia y su combinación, lo que demuestra que el beneficio de explicitar el tiempo va más allá de la simulación controlada. Las mejoras abarcan tanto la manipulación de objetivos en movimiento como la manipulación con mucho contacto, lo que sugiere que la misma interfaz de tiempo físico puede manejar distintas fuentes de variación temporal.
RTC mejora la robustez ante la latencia de inferencia en varias situaciones. Sin embargo, no tiene en cuenta explícitamente los cambios en la temporización de las observaciones, por lo que su beneficio no se extiende de forma sistemática a las perturbaciones de percepción. Chronos Policy representa tanto cuándo se capturó cada observación como cuándo debe ejecutarse cada acción predicha, lo que permite modelar la temporización de la percepción y la ejecución dentro de la misma arquitectura de política. Estos resultados sugieren que la ejecución asíncrona y la sensibilidad explícita al tiempo abordan aspectos complementarios del desajuste temporal.
Conclusiones y trabajo futuro
Chronos Policy fundamenta el aprendizaje de políticas robóticas en el tiempo físico, condicionándolo a cuándo se capturan las observaciones y cuándo deben ejecutarse las acciones. Esta formulación ofrece una representación unificada de la frecuencia de percepción, el retardo de medición y la latencia de inferencia dentro de una sola política. En tareas dinámicas, multisensoriales y estándar de manipulación cuasiestática, tanto en simulación como con robots reales, Chronos Policy mejora la robustez ante el desajuste temporal y mantiene el rendimiento nominal.
Una posible línea de trabajo futuro es ampliar las políticas Chronos más allá de las frecuencias de acción fijas, para abarcar frecuencias de control variables y escalado temporal, de modo que los robots puedan ejecutar el mismo comportamiento más rápido o más despacio que en la demostración.
Agradecimientos
Los autores agradecen a todos los miembros de REALab en Stanford sus útiles conversaciones y comentarios. Este trabajo recibió apoyo parcial de Knight-Hennessy Fellowship y del NSF Graduate Research Fellowships Program (GRFP), las subvenciones NSF #2143601, #2037101 y #2132519, Samsung y Stanford HAI Center. Las opiniones y conclusiones son las de los autores y no deben interpretarse como necesariamente representativas de las políticas oficiales de los patrocinadores, ya sean expresas o implícitas.
Apéndice: arquitectura de la política y detalles de la evaluación
Arquitectura de la política y representaciones de entrada
Conveyor y las seis tareas estándar utilizan dos observaciones de imagen por cámara y dos observaciones propioceptivas. Pivoting simulado utiliza dos imágenes, tres observaciones de pose y 32 muestras de fuerza/par de seis dimensiones. Una pose se representa mediante su posición y una rotación 6D.
Pivoting predice una acción de cumplimiento adaptativo de 19 dimensiones que contiene una pose nominal, una pose de objetivo virtual y rigidez; todos los métodos utilizan el mismo controlador y la misma representación de acción. Las demás tareas de simulación utilizan comandos de pose absoluta y de pinza o mano. Todas las políticas predicen 16 acciones a 20 Hz.
Líneas base y variantes sensibles al tiempo
La línea base basada en transformer utiliza la posición en la secuencia, sin marcas de tiempo de observación ni de acción. Su variante con aleatorización temporal utiliza los mismos programas de observación aleatorizados y los mismos retardos de inicio de acción que Chronos Policy, pero no recibe sus tiempos físicos.
Selección de checkpoints y configuración de la evaluación
Se entrenan tres semillas para cada política. Los checkpoints se evalúan en la configuración nominal de validación cada cinco épocas, y se selecciona el checkpoint con la mayor tasa de éxito nominal. Para el benchmark DexMimicGen, se evalúan 50 episodios por semilla de entrenamiento, siguiendo la configuración de evaluación del artículo original.
Para las ablaciones de Conveyor y Pivoting, cada checkpoint de entrenamiento seleccionado se evalúa con tres semillas de evaluación, con 50 episodios por semilla y condición. Primero se promedian los resultados entre las tres semillas de evaluación para cada semilla de entrenamiento y, después, se presentan como la media y la desviación estándar muestral entre las tres semillas de entrenamiento, para un total de 450 episodios por método y condición.
Configuración temporal
Todas las tareas muestrean frecuencias de observación de 12.5–33.33 Hz y retardos de entrega de 0–50 ms de forma independiente entre flujos de sensores, utilizando un conjunto de datos original de 100 Hz. Para Pivoting, la fuerza/par se muestrea de 1–100 Hz con un retardo de entrega de 0–100 ms. La mitad de los bloques de acción comienza sin retardo; el resto muestrea un retardo de inicio de hasta 100 ms.
Tareas dinámicas y multisensoriales: ablaciones completas
En Conveyor, añadir aleatorización temporal a Diffusion Policy mejora considerablemente varios escenarios de perturbación. El éxito aumenta del 15.6% al 60.9% ante una pequeña variación de las observaciones y del 14.2% al 47.3% con retardos de hasta 100 ms. Esto sugiere que exponer la política a una gama más amplia de programas de observación y ejecución puede actuar por sí solo como un aumento de datos útil.
El beneficio no se extiende con claridad a desajustes más graves: con una amplia variación de la percepción, el éxito solo mejora del 0.0% al 6.4%, y ambas variantes siguen cerca de cero en la condición combinada. La aleatorización también reduce el rendimiento nominal en Conveyor del 73.1% al 53.6%, lo que indica que introducir variación temporal sin informar a la política de la temporización que generó cada muestra conlleva una contrapartida.
Esta limitación es más pronunciada en Pivoting. Añadir aleatorización temporal a Diffusion Policy reduce el rendimiento en todas las condiciones, incluido el éxito nominal, que pasa del 61.6% al 29.8%. A diferencia de Conveyor, Pivoting requiere relacionar mediciones de visión, propiocepción y fuerza/par muestreadas en distintos momentos. Cuando se aleatorizan los programas pero se ocultan sus marcas de tiempo, las mismas posiciones de los tokens pueden corresponder a distintos desfases temporales entre modalidades. Por tanto, la diversidad adicional también introduce ambigüedad que la política no puede resolver.
Configuración de las tareas y demostraciones en el mundo real
La evaluación en el mundo real abarca Dynamic Cup, Peg Insertion y Pivoting. Dynamic Cup se evalúa con distintas velocidades, posiciones y direcciones de rotación del platillo. Peg Insertion se evalúa con cinco ensayos para cada una de dos orientaciones del orificio, hacia delante y hacia atrás. Pivoting se evalúa con cinco ensayos en cada una de cuatro configuraciones: una goma de borrar grande, una goma de borrar pequeña, una caja y una configuración lateral.
Todas las tareas utilizan dos observaciones RGB, junto con historiales de pose relativa y anchura medida de la pinza, a una frecuencia nominal de 20 Hz. El texto proporcionado del artículo termina a mitad de una frase, después de indicar que Peg Insertion y Pivoting también utilizan «3».
Preguntas frecuentes
¿Qué añade Chronos Policy a las entradas de una política robótica? Asocia las observaciones con sus tiempos de captura y las acciones predichas con sus tiempos de ejecución previstos.
¿Cómo representa Chronos Policy el tiempo físico? Utiliza RoPE sensible al tiempo en la atención, mantiene sin cambios las incrustaciones de los tokens y hace explícito el tiempo físico transcurrido.
¿Por qué son útiles las marcas de tiempo cuando las observaciones se aleatorizan en el tiempo? Las marcas de tiempo permiten que la política interprete programas de observación variables y mediciones asíncronas, en lugar de tratar las posiciones de la secuencia como intervalos fijos.
¿Reduce el modelado explícito del tiempo el rendimiento nominal de las tareas? Los resultados informados en manipulación cuasiestática muestran un rendimiento nominal comparable al de Diffusion Policy, mientras que Chronos Policy es más robusta cuando cambia la temporización durante el despliegue.