Banco de pruebas experimental controlado
El robot recibe información de su estado a través de dos fuentes. La odometría de las ruedas proporciona mediciones incrementales del movimiento, mientras que las mediciones de distancia y orientación respecto de balizas conocidas aportan correcciones absolutas intermitentes. El flujo de odometría está afectado por deslizamiento multiplicativo de las ruedas y por un sesgo aditivo del giroscopio. La percepción de las balizas se degrada sistemáticamente en cuatro ejes: ruido de medición de distancia, número de balizas visibles, sesgo del giroscopio y cortes programados de percepción durante los cuales no hay observaciones de ninguna baliza. Estas perturbaciones permiten estudiar el comportamiento del estimador bajo condiciones de percepción progresivamente peores, manteniendo fijos la dinámica del robot y el esquema de control.
El controlador no tiene acceso a la pose real. En su lugar, cada entrada de control se calcula a partir de la estimación de pose producida por el observador activo. Por tanto, los errores de estimación afectan a la orden de control aplicada, lo que modifica la trayectoria posterior del robot y las mediciones que encuentra más adelante durante la ejecución. Este acoplamiento es fundamental para el diseño experimental. Un estimador que parece preciso cuando se evalúa sobre una trayectoria fija puede comportarse de otra manera cuando sus estimaciones se utilizan directamente dentro del bucle de retroalimentación.
Modelos predictivos de estado
Navegación inercial y filtro de Kalman extendido
La navegación inercial (DR) propaga la pose del robot utilizando únicamente la odometría y no aplica correcciones basadas en mediciones. El filtro de Kalman extendido (EKF) emplea el mismo modelo de movimiento unicíclo, junto con jacobianos analíticos para el modelo de observación de distancia y orientación de las balizas. Entre observaciones de balizas, el EKF propaga el estado y la covarianza mediante el modelo de movimiento; cuando hay una medición válida de una baliza, realiza una actualización de medición convencional.
La composición de poses combina la pose predicha con la corrección calculada a partir del residuo de medición.
Los seis observadores principales considerados en el estudio son DR, EKF, GRU-DR, SSM-DR, GRU-EKF y SSM-EKF. Los modelos recurrentes se entrenan mediante retropropagación a través del tiempo, utilizando 200 trayectorias expertas con aleatorización de dominio que abarcan variaciones en la calidad de la percepción y la incertidumbre del movimiento.
Entrenamiento con cortes prolongados de percepción
Para examinar si la exposición a periodos más largos sin mediciones de balizas mejora la robustez, se entrenan versiones adicionales de SSM-EKF, GRU-EKF y SSM-DR. Estos modelos se denominan variantes con apagón prolongado. Se entrenan con 300 trayectorias, la mitad de las cuales contiene un corte adicional de percepción de entre 32 y 58 pasos temporales. Los datos de entrenamiento estándar contienen cortes de entre 6 y 27 pasos. Por lo demás, la arquitectura de la red, el objetivo de entrenamiento y el optimizador no cambian.
El corte de percepción se introduce enmascarando los canales de medición de las balizas, mientras se mantienen sin cambios la dinámica simulada del vehículo y la secuencia de odometría. Como la percepción de las balizas no altera la evolución física del robot simulado, este procedimiento aísla el efecto de la ausencia de actualizaciones de medición sin modificar el movimiento subyacente. Los modelos resultantes permiten comprobar si entrenar con periodos más largos de predicción sin corrección externa se traduce en un mejor rendimiento en lazo cerrado.
Protocolos de evaluación
Cada observador se evalúa mediante tres protocolos que difieren principalmente en la disponibilidad de mediciones futuras y en si el estado estimado puede influir en la trayectoria del robot. Utilizar el mismo conjunto de observadores en los tres protocolos permite comparar la precisión convencional de estimación fuera de línea, la precisión de predicción sin mediciones y el rendimiento real del control en lazo cerrado.
Reproducción de trayectorias con actualizaciones de medición
En la evaluación mediante reproducción, todos los observadores procesan la misma trayectoria registrada. La secuencia de entrada contiene la odometría observada, las mediciones de distancia y orientación de las balizas y las máscaras correspondientes de disponibilidad de mediciones. Como la trayectoria del robot es fija, las diferencias entre observadores no modifican las entradas futuras que recibe el estimador.
Las estimaciones de pose resultantes se comparan con la trayectoria real mediante el RMSE de posición y el RMSE de orientación. Este protocolo representa la evaluación convencional fuera de línea de la precisión de localización o estimación de estado.
Despliegue sin mediciones
El segundo protocolo evalúa la capacidad de cada observador para propagar su estimación de estado sin futuras correcciones procedentes de las balizas. Primero se reproduce la trayectoria registrada a través del observador y se guarda todo su estado interno en puntos de control espaciados regularmente. En cada punto de control, se propaga una copia del observador durante un horizonte de despliegue especificado, utilizando únicamente la secuencia de odometría observada. Las mediciones de las balizas se retienen durante todo el despliegue.
El RMSE de posición se mide al final del horizonte de despliegue y se agrega entre los puntos de control y diez semillas de evaluación.
Esta evaluación mide la rapidez con la que cada observador acumula error de estado cuando debe depender por completo de la propagación del movimiento durante dos segundos. A diferencia del protocolo de reproducción, el despliegue sin mediciones pone a prueba explícitamente la predicción a varios pasos sin corrección externa, aunque sigue utilizando la misma secuencia de odometría observada para todos los observadores.
Seguimiento de trayectoria en lazo cerrado
En la evaluación en lazo cerrado, el observador opera en línea dentro del simulador y proporciona la estimación de pose utilizada por el controlador de persecución pura. Las órdenes de control resultantes se aplican al robot simulado, de modo que los errores del estimador afectan directamente a la trayectoria posterior del vehículo.
Las mediciones de las balizas siguen llegando según la condición de percepción evaluada, y el observador las incorpora siempre que están disponibles. El RMSE transversal se utiliza como medida principal del rendimiento de seguimiento de trayectoria. También se registran el esfuerzo de control, el tiempo de recuperación tras los cortes de percepción y la fracción de ejecuciones que divergen.
Por tanto, los tres protocolos exponen a cada observador a estructuras distintas de información y retroalimentación:
- La reproducción permite aplicar correcciones de medición repetidas, pero mantiene fija la trayectoria del robot.
- El despliegue sin mediciones elimina las correcciones de las balizas durante un horizonte de predicción establecido, aunque sigue reproduciendo la secuencia de odometría observada.
- La evaluación en lazo cerrado combina actualizaciones de medición intermitentes con retroalimentación, permitiendo que los errores de estimación modifiquen las entradas de control futuras, el movimiento del robot y la geometría de percepción.
La pregunta central del artículo es si alguno de los protocolos fuera de línea conserva la clasificación de observadores que se obtiene cuando esos mismos observadores se utilizan para controlar el robot en lazo cerrado.
Para cada una de las 24 condiciones de percepción, cada métrica fuera de línea produce una clasificación de los seis observadores principales. Esta clasificación se compara con el orden obtenido a partir del RMSE transversal en lazo cerrado bajo la misma condición de percepción. Además de la correlación de rangos de Spearman global entre las 144 parejas observador-condición, se informa de la frecuencia con la que un criterio fuera de línea selecciona un observador distinto del óptimo en lazo cerrado. También se cuantifica el arrepentimiento de selección resultante con respecto al mejor observador en lazo cerrado para esa condición.
Implicaciones para la evaluación de modelos del mundo en robótica
Aunque la plataforma experimental considerada en este estudio es deliberadamente sencilla, el problema de evaluación subyacente se aplica de forma más amplia a los modelos predictivos utilizados en sistemas robóticos. La información disponible durante un despliegue fuera de línea suele diferir de la que está disponible cuando el mismo modelo se utiliza en línea.
Un banco de pruebas fuera de línea puede evaluar una predicción larga a partir de un contexto inicial fijo, mientras que un robot desplegado puede recibir nuevas imágenes de cámara, mediciones propioceptivas, mediciones de fuerza u otras actualizaciones sensoriales después de apenas unos ciclos de control. Entonces se corrige la estimación de estado y el controlador vuelve a evaluarse a partir del estado actualizado. Por ello, la utilidad de un modelo predictivo no depende únicamente de la precisión con la que propaga el sistema hacia el futuro, sino también del calendario de percepción y retroalimentación bajo el que se utilizan esas predicciones.
Precisión de predicción y concordancia en lazo cerrado
El error de predicción de estado sigue siendo una medida importante de la calidad del modelo, pero no describe directamente cómo afectan los errores de estimación al sistema controlado. Por tanto, la evaluación fuera de línea puede reforzarse informando de magnitudes que comparen las clasificaciones del modelo en los niveles de predicción y control, como la precisión de selección del estimador, la concordancia en la clasificación de políticas, el arrepentimiento en lazo cerrado o el éxito de la tarea.
En los experimentos, el despliegue de 20 pasos sin mediciones proporciona una medida significativa de la propagación del estado, pero produce una clasificación de estimadores sustancialmente distinta de la obtenida en el seguimiento de trayectoria en lazo cerrado. Informar de la concordancia de rangos y del arrepentimiento de selección hace visible esta diferencia incluso cuando los errores medios de predicción de estado parecen razonables.
Separar la propagación del estado de la corrección mediante mediciones
La propagación del estado y la corrección mediante mediciones deben evaluarse por separado. Los modelos predictivos empleados en robótica combinan cada vez más múltiples modalidades sensoriales, como visión, propiocepción, percepción de fuerzas y otras mediciones externas. La llegada de una nueva medición modifica la estimación de estado y puede alterar considerablemente la acción de control posterior.
Un modelo que acumula deriva durante un largo periodo de propagación en lazo abierto puede seguir funcionando bien si incorpora eficazmente la medición siguiente. Por el contrario, un modelo con una propagación precisa a corto plazo puede funcionar mal si sus correcciones de estado introducen errores desfavorables para el control mediante retroalimentación. Por tanto, la evaluación debe caracterizar tanto la forma en que el modelo propaga el sistema entre mediciones como la evolución de su estimación de estado cuando aparecen nuevas mediciones.
Adaptar la evaluación a la aplicación prevista
Estas observaciones no implican que la evaluación a corto horizonte sea, en general, preferible a la predicción a largo horizonte. Los modelos predictivos utilizados para planificación, control predictivo basado en modelos o aprendizaje de políticas pueden depender de periodos de propagación considerablemente más largos que los estimadores de estado considerados aquí. En esas aplicaciones, la precisión de la predicción a largo horizonte puede estar directamente relacionada con el rendimiento.
Los resultados indican, más bien, que la relación entre la precisión del despliegue y la utilidad en lazo cerrado depende de cómo se integre el modelo predictivo en el sistema robótico. Por ello, los protocolos de evaluación deberían reproducir lo más fielmente posible la estructura de percepción, actualización de estado y control de la aplicación prevista.
Limitaciones
El número de réplicas de entrenamiento también difiere entre los experimentos. Los cuatro estimadores recurrentes principales anclados en EKF—SSM-EKF, GRU-EKF y sus variantes con apagón prolongado—se evalúan utilizando tres semillas de entrenamiento independientes, como se detalla en el apéndice. Cinco o más ejecuciones de entrenamiento independientes proporcionarían una estimación más sólida de la variabilidad del entrenamiento, especialmente para el modelo SSM-EKF entrenado con cortes prolongados de percepción, que muestra una variación notablemente mayor entre inicializaciones.
Algunos experimentos secundarios con observadores anclados en DR y ciertos estudios de ablación utilizan menos ejecuciones de entrenamiento independientes y, por tanto, deben interpretarse principalmente como evidencia de apoyo, no como conclusiones estadísticas independientes.
El estudio con datos emparejados controla el tamaño del conjunto de entrenamiento mientras modifica la distribución de la duración de los cortes de percepción. En ese experimento, hacer coincidir la distribución de apagones del entrenamiento con las condiciones de evaluación no proporciona una ventaja consistente en lazo cerrado. Por tanto, el resultado debe interpretarse como evidencia de que igualar únicamente la duración de los apagones es insuficiente, no como evidencia a favor de un currículo de entrenamiento concreto.
Estas limitaciones delimitan el alcance de las conclusiones. Los experimentos no establecen una métrica de evaluación universal para grandes modelos visuales del mundo, ni afirman que los despliegues sin mediciones sean inadecuados para la planificación robótica en general.
Demuestran un resultado más específico: cuando se utiliza un modelo predictivo de estado dentro de un controlador con retroalimentación y recibe correcciones de medición intermitentes, un despliegue fuera de línea puede producir una clasificación engañosa de los modelos si su calendario de mediciones difiere sustancialmente del que se encuentra durante la operación en lazo cerrado.
Extender esta misma comparación controlada a modelos predictivos visuales, dinámicas robóticas adicionales, distintos controladores y experimentos físicos en lazo cerrado constituye una línea importante para trabajos futuros.
Conclusión
Este artículo examinó la relación entre la precisión de predicción fuera de línea y el rendimiento del control en lazo cerrado cuando un estimador predictivo de estado se utiliza dentro de un bucle de retroalimentación robótico. En una tarea de seguimiento de trayectoria con tracción diferencial, odometría sesgada y percepción intermitente de balizas, se compararon el error de estimación basado en reproducción, el error de despliegue a varios pasos sin mediciones y el rendimiento de seguimiento en lazo cerrado en seis observadores y 24 condiciones de percepción.
El despliegue de 20 pasos sin mediciones fue menos consistente con la clasificación de observadores en lazo cerrado que el RMSE de posición obtenido mediante reproducción, pese a evaluar explícitamente la propagación del estado a varios pasos.
Los experimentos sobre el horizonte y las actualizaciones de medición explican este resultado con mayor precisión. Los horizontes largos de predicción siguen siendo informativos cuando el estimador continúa recibiendo correcciones de medición periódicas, mientras que la correspondencia con el rendimiento en lazo cerrado se deteriora considerablemente cuando una propagación prolongada se combina con actualizaciones de medición infrecuentes o inexistentes. Por tanto, la variable de evaluación relevante no es únicamente el horizonte de predicción, sino la combinación del horizonte de predicción y el calendario de actualizaciones de medición.
En conjunto, los resultados sugieren un principio práctico para evaluar modelos predictivos en robótica. El error de predicción debe medirse bajo un patrón de información que refleje cómo se utilizará realmente el modelo. En el caso de modelos que operan dentro de un controlador con retroalimentación, esto implica especificar cuándo están disponibles nuevas mediciones, cuándo se actualiza la estimación de estado y cuándo se calculan nuevas entradas de control.
Por tanto, un banco de pruebas de despliegue útil debería reproducir la estructura de percepción y retroalimentación de la aplicación robótica prevista, en lugar de tratar el horizonte de predicción como la única medida de dificultad temporal.
Agradecimientos
Este proyecto comenzó como trabajo final de ECE 6562 (Control autónomo de sistemas robóticos), Georgia Institute of Technology, verano de 2026, y posteriormente se amplió con la evaluación de despliegues a ciegas y los experimentos de entrenamiento con apagones prolongados que se presentan aquí.
Preguntas frecuentes
¿Qué tarea robótica se utilizó en el estudio? El estudio utilizó una tarea de seguimiento de trayectoria con tracción diferencial, odometría sesgada y percepción intermitente de balizas.
¿Qué observadores se compararon? Los seis observadores principales fueron DR, EKF, GRU-DR, SSM-DR, GRU-EKF y SSM-EKF.
¿Qué protocolos de evaluación se utilizaron? Los observadores se evaluaron mediante reproducción de trayectorias con actualizaciones de medición, despliegues sin mediciones y seguimiento de trayectoria en lazo cerrado.
¿Cuál es la principal lección de evaluación? La precisión de predicción debe medirse bajo un calendario de percepción y retroalimentación que refleje cómo se utilizará realmente el modelo predictivo.