Hasta donde sabemos, T3R es el primer método sin entrenamiento que poda el 85% de los tokens de cámara de escena antes de que entren al decodificador y mantiene una tasa de éxito a menos de 1 punto porcentual de la línea base sin podar en LIBERO-Spatial. El anclaje externo y la reparación de la atención benefician todas las capas del decodificador sin necesidad de volver a entrenar.
Trabajos relacionados
Contexto
Hasta donde sabemos, T3R es el primer método sin entrenamiento que poda el 85% de los tokens de cámara de escena antes de que entren al decodificador y mantiene una tasa de éxito a menos de 1 punto porcentual de la línea base sin podar en LIBERO-Spatial. El anclaje externo y la reparación de la atención benefician todas las capas del decodificador sin necesidad de volver a entrenar.
Método
T3R sigue un proceso de dos etapas: la poda de tokens guiada por segmentación elimina los tokens espacialmente redundantes y, a continuación, la aplicación de sesgos de atención guiada por saliencia concentra la atención en los tokens restantes más importantes.
Aplicación de sesgos de atención guiada por saliencia
La poda elimina inevitablemente información de la escena. Para mitigar la pérdida de señales relevantes para la tarea, T3R dirige la atención hacia los tokens destacados de la instrucción y los parches conservados que son relevantes para la tarea, dentro de la secuencia reducida.
Inyección del sesgo de atención. La atribución se añade como sesgo a los logits de atención de las capas intermedias del decodificador.
Experimentos
Se ponen a prueba tres hipótesis: (H1) la poda guiada por segmentación reduce sustancialmente los tokens de cámara de escena y mantiene el éxito; (H2) menos tokens reducen el coste de inferencia; y (H3) el proceso completo de T3R mejora la robustez ante cambios en la ubicación de objetos fuera de la distribución. Los experimentos también examinan la generalización entre arquitecturas base y la redundancia de sensores.
La mayoría de los tokens visuales aportan muy poco
Para cada capa del decodificador, se suma la masa de atención de cada consulta de token de acción a todas las claves visuales. La proporción de cada token se expresa como porcentaje del total y se promedia sobre 32 capas, 10 tareas de LIBERO-Spatial y 3 pasos temporales por tarea.
Un total del 93.9% de los tokens visuales recibe menos del 0.2% de la atención de las consultas de acción cada uno. En las capas finales (24–31), entre el 50–75% de los tokens queda por debajo del 0.1%. Esto demuestra que la mayoría de los tokens son casi inactivos, pero eliminarlos de forma segura antes del decodificador sigue dependiendo de seleccionar bien cuáles se conservan.
Generalización y redundancia de sensores
Para comprobar si el beneficio de T3R se transfiere a otras arquitecturas base y conjuntos de sensores, se adapta a CogACT en SIMPLER, que usa una sola cámara en tercera persona, y a un segundo modelo cuyo nombre no aparece en el texto proporcionado en RoboTwin, que usa tres cámaras. Ambas evaluaciones son de cero disparos y no utilizan ningún modelo ajustado, por lo que el éxito absoluto es bajo; el análisis se centra en el comportamiento relativo frente al modelo base sin podar y a los métodos de poda competidores con presupuestos equivalentes.
Una sola cámara (CogACT / SIMPLER). CogACT se evalúa en el conjunto Google-Robot de SIMPLER (11 tareas, 189 episodios por método) y en el conjunto WidowX/Bridge (4 tareas, 96 episodios por método), ambos con una sola vista en tercera persona. Con una tasa de retención del 60%, T3R iguala al modelo base en Bridge y queda 5.5 puntos porcentuales por debajo en Google-Robot, mientras que los métodos que conservan más tokens (ADP, FastV) obtienen mejores resultados. Con una sola vista queda poca redundancia entre sensores, por lo que una poda agresiva elimina tokens que la política aún necesita.
Conclusión. En las arquitecturas base y los benchmarks evaluados, T3R ofrece más margen para podar en entornos con varias cámaras. Esta tendencia entre sistemas sugiere que la evidencia visual superpuesta permite reducir los tokens.
Estudios de ablación
Cada componente se evalúa por separado en LIBERO-Spatial (10 tareas × 10 episodios). La poda sola alcanza el 90% con una reducción del 85% de los tokens de cámara de escena; el sesgo solo alcanza el 98%, y T3R completo alcanza el 96%, frente a una línea base del 97%. La aplicación de sesgos recupera 6 puntos porcentuales de la pérdida causada por la poda; que el sesgo solo supere la línea base indica que la atención sin podar está dispersa.
En el análisis de capas con solo sesgo y sin poda, aplicar sesgos a las capas intermedias (capas 8–23) alcanza el 98%, frente al 95% en las capas iniciales, el 92% en las finales y el 93% en todas las capas. Esto concuerda con la distorsión de características en las primeras capas y la alteración de la salida en las últimas.
Por qué T3R supera a los métodos de poda anteriores. T3R poda antes de las 32 capas del decodificador y conserva aproximadamente 37 tokens de escena, mientras que TeamVLA procesa 512 tokens en las capas 0–15, lo que permite que el contexto irrelevante influya en las representaciones antes de fusionarse. La segmentación conserva regiones de objetos coherentes y la geometría de RoPE, en lugar de muestras de similitud disjuntas; después, la reparación de la atención guiada por IG compensa la pérdida causada por la poda.
Robustez de los hiperparámetros. Se utilizó un único conjunto de hiperparámetros para las 10 tareas de LIBERO-Spatial y los cuatro conjuntos, sin ajustes por tarea. Variar la intensidad del sesgo, las capas activas, el valor k superior de saliencia y el umbral de poda modificó la tasa de éxito entre 1 y 6 puntos porcentuales. El valor ε de DBSCAN y la cantidad de puntos de SAM se ajustan a la geometría fija de la cuadrícula de parches.
Análisis de fallos y limitaciones
Todas las evaluaciones se realizan en simulación; no se han validado el control de robots físicos ni la ejecución asíncrona con retrasos reales de sensores y actuadores. El perfilado del hardware solo se realiza en una NVIDIA L40S, sin mediciones de energía ni pruebas en dispositivos periféricos. Por tanto, las mejoras de latencia por sí solas no demuestran un ahorro energético ni un mejor rendimiento en dispositivos periféricos.
Los cambios de oclusión e iluminación pueden degradar la segmentación y descartar parches relevantes para la tarea. No se ha aislado el impacto de estos efectos en el éxito de la tarea, ni se han comparado segmentadores alternativos.
Preguntas frecuentes
¿Cuánto poda T3R? Poda el 85% de los tokens de cámara de escena antes de que entren al decodificador y mantiene una tasa de éxito a menos de 1 punto porcentual de la línea base sin podar de LIBERO-Spatial.
¿Cuáles son las dos etapas de T3R? La poda de tokens guiada por segmentación elimina los tokens espacialmente redundantes; a continuación, se aplican sesgos de atención guiados por saliencia a los tokens restantes.
¿Cómo funciona T3R con una sola cámara? Con una tasa de retención del 60%, iguala al modelo base en Bridge y queda 5.5 puntos porcentuales por debajo en Google-Robot.
¿Se ha validado T3R en robots físicos? No. Las evaluaciones se realizan en simulación, y no se han validado el control de robots físicos ni los retrasos reales de sensores y actuadores.