Investigadores de Caltech construyeron PAC-MAN, un marco de seguridad consciente de la percepción que enseñó a un humanoide Unitree G1 a esquivar pelotas lanzadas usando solo su cámara de profundidad a bordo y sensores articulares. El hallazgo clave: las garantías de seguridad más sólidas solo dan resultados cuando la percepción del robot es lo suficientemente buena para respaldarlas, por lo que las estructuras de seguridad más ligeras ganan en hardware real.
Tabla de contenidos
- Lo que construyeron los investigadores
- Resultados clave
- Cómo funciona
- Por qué esto es importante para la robótica
- Limitaciones y preguntas abiertas
- Preguntas frecuentes
- Conclusión
Lo que construyeron los investigadores
PAC-MAN es un marco de entrenamiento que fusiona funciones de barrera de control (CBF) con aprendizaje por refuerzo para que un humanoide pueda esquivar una pelota entrante con todo su cuerpo. Una pelota se lanza hacia el robot, y un ensayo solo tiene éxito si ningún eslabón del cuerpo — ni siquiera un dedo o un tobillo — hace contacto y el robot mantiene el equilibrio. No hay movimiento de referencia a seguir; el robot genera la evasión por sí mismo a partir de señales de sensores crudas.
El marco prueba dos niveles de estructura de seguridad. Link-CBF es una penalización ligera por eslabón utilizada durante el entrenamiento para alejar la política del contacto en cualquier parte del cuerpo. Joint-CBF es una proyección de todo el cuerpo más fuerte del conjunto seguro que puede guiar el entrenamiento o actuar como un filtro de seguridad en tiempo de ejecución cuando se dispone de un estado preciso de la pelota.
En el despliegue, el robot solo ve lo que proporciona la detección a bordo: propiocepción más una imagen de profundidad enmascarada hasta una pelota segmentada. Una prioridad de movimiento adversarial da forma a las evasiones en agacharse, inclinarse, pasos laterales y saltos en lugar de contorsiones rígidas. Se estudian dos condiciones de despliegue: un lanzamiento calibrado único y un bucle continuo donde el robot camina de regreso a su estación y se recupera entre lanzamientos.
Resultados clave
El hallazgo central de PAC-MAN es un acoplamiento entre la estructura de seguridad y la percepción: las estructuras de barrera más fuertes solo dan resultados cuando las observaciones las respaldan.
Con un oráculo de estado que proporciona posiciones exactas de la pelota, el Joint-CBF completo con filtrado en tiempo de ejecución fue la configuración más fuerte. Con una cámara fija a bordo realista, sin embargo, el Link-CBF más ligero — que la política internaliza durante el entrenamiento y no necesita filtro en tiempo de ejecución — fue la mejor opción desplegable. Un gimbal apuntado por oráculo en simulación se situó entre los dos, mostrando que mantener la amenaza a la vista durante más tiempo desbloquea más estructura de seguridad.
El equipo desplegó la política Link-CBF con cámara fija cero-shot en un humanoide Unitree G1 usando solo profundidad a bordo y propiocepción. El robot evadió con éxito lanzamientos en vivo, y debido a que la pelota se segmenta semánticamente en RGB, la misma política maneja diferentes pelotas sin reentrenamiento.
El benchmark también utiliza un criterio de contacto estricto de cualquier eslabón. Los resultados muestran que muchos aparentes esquivados fallan por roces de extremidades, por lo que calificar solo por distancia de la pelvis sobreestima la seguridad — una advertencia para la evaluación de robots de cuerpo completo.
Cómo funciona
Las funciones de barrera de control codifican conjuntos de estado seguros y corrigen automáticamente los comandos que empujarían al sistema al peligro — pero solo si el estado relevante está disponible. La percepción a bordo rompe esa suposición: una pelota puede ser visible solo brevemente, salir del campo de visión, o registrarse como unos pocos píxeles de profundidad ruidosos. PAC-MAN trata la representación de la amenaza y el diseño de la barrera como un problema de seguridad acoplado en lugar de módulos independientes.
Durante el entrenamiento, la estructura CBF entra en la política de dos maneras. Link-CBF añade una penalización por eslabón a la recompensa, enseñando a la política que cualquier parte del cuerpo puede ser golpeada. Joint-CBF proyecta el conjunto seguro en el espacio articular de todo el cuerpo, proporcionando una señal más fuerte — y puede imponerse en el momento de la prueba como un filtro de tiempo de ejecución privilegiado cuando existe un estado preciso de la pelota.
Las observaciones de despliegue son deliberadamente escasas: propiocepción más una imagen de profundidad enmascarada a una vista compacta solo de la pelota, producida segmentando la pelota en RGB y filtrando el canal de profundidad. La cámara fija ve la pelota durante una ventana corta, lo que limita cuánta estructura de barrera puede internalizar la política. Una prioridad de movimiento adversarial (AMP) regulariza el movimiento para que las evasiones surjan como agacharse, inclinarse, pasos laterales y saltos.
Los fallos se califican estrictamente. Cualquier contacto de eslabón cuenta como un golpe, y se declara una caída si la orientación del torso, la altura de la base o la posición sostenida en cuclillas cruzan un umbral. El benchmark calibra lanzamientos precisos contra una estatua congelada e informa tanto el éxito de reinicio como el bucle de despliegue.
Por qué esto es importante para la robótica
Los robots humanoides que se mueven en almacenes, fábricas y espacios públicos enfrentarán peligros transitorios que ningún camino precomputado puede evitar: una caja que cae de un estante, un palé que se balancea fuera de una carretilla elevadora, un compañero de trabajo que se cruza en el camino del robot. PAC-MAN demuestra un reflejo reactivo de cuerpo completo que funciona solo con la detección a bordo — sin captura de movimiento externa, sin infraestructura, sin teleoperación.
La lección más profunda se aplica a cualquier robot crítico para la seguridad: el filtro de seguridad es tan bueno como la percepción que lo alimenta. Diseñar una barrera fuerte y luego asumir un estado limpio fallará en el campo; igualar la barrera a lo que los sensores pueden realmente proporcionar es la ingeniería que importa. Es por eso que explorar robots humanoides en Robot Overflow y robots de almacén cada vez más necesitan pilas de control conscientes de la percepción en lugar de capas de seguridad de libro de texto.
Para los compradores, esto apunta hacia humanoides cuyo comportamiento de seguridad se aprende de extremo a extremo a partir de datos de sensores reales — y validado bajo métricas de cuerpo completo basadas en contacto en lugar de simples umbrales de distancia.
Limitaciones y preguntas abiertas
El gimbal activo que restauró la utilidad de Joint-CBF fue apuntado por oráculo en simulación; una versión desplegable apuntada por rastreador necesita hardware adicional y sigue siendo trabajo futuro. La validación física se realizó solo con la cámara fija, y el pipeline de seguimiento de la pelota depende de la segmentación RGB, que es más difícil en poca luz o entornos visualmente saturados. El benchmark apunta a una sola pelota por ensayo, mientras que los lugares de trabajo reales presentan múltiples amenazas dinámicas simultáneas. Y aunque el despliegue cero-shot tuvo éxito, persisten las brechas sim-real. Publicar el benchmark y el pipeline de entrenamiento permitirá a la comunidad cuantificar esas brechas y estresar el marco con nuevos tipos de pelota, velocidades y plataformas robóticas.
Preguntas frecuentes
¿Qué es una función de barrera de control (CBF) en términos simples? Una CBF define una zona segura en el espacio de estados del robot y corrige automáticamente cualquier comando que empujaría al robot fuera de ella. Proporciona una garantía matemática de que el robot permanece dentro del conjunto seguro — siempre que se conozca el estado.
¿Por qué el Link-CBF más simple superó al Joint-CBF más fuerte en el robot real? Joint-CBF necesita un estado preciso de la pelota para imponer su proyección de cuerpo completo en tiempo de ejecución, lo que una cámara fija a bordo no puede proporcionar de manera confiable. Link-CBF construye la seguridad en la política durante el entrenamiento, por lo que funciona con las observaciones escasas que el robot realmente tiene.
¿Esto funciona solo para dodgeball? No. El dodgeball es un banco de pruebas deliberadamente difícil para la evitación de colisiones transitoria de cuerpo completo. La misma estructura de seguridad consciente de la percepción se aplica a cualquier robot que deba reaccionar a objetos móviles inesperados — stock que cae, cargas que se balancean o personas que se acercan demasiado.
¿El robot usó captura de movimiento o seguimiento externo durante el despliegue real? No. En hardware, la política usó solo profundidad a bordo y propiocepción, con la pelota segmentada semánticamente desde RGB. No se involucró infraestructura externa.
Conclusión
PAC-MAN muestra que la evitación de colisiones de cuerpo completo para humanoides es un problema de percepción tanto como de control. Al igualar la barrera de seguridad a lo que los sensores a bordo pueden realmente proporcionar, el marco produce un robot que esquiva lanzamientos reales cero-shot. El resultado es un plan práctico para la seguridad reactiva en humanoides que se dirigen a entornos humanos.