Corregir errores residuales milimétricos requiere una política capaz tanto de percibirlos como de resolverlos mediante acciones. Si los canales de error no están escalados según la tolerancia, el brazo se estabiliza en un equilibrio sesgado que no alcanza el objetivo. La normalización de entradas escala cada canal según su dispersión en el espacio de trabajo, por lo que las diferencias milimétricas representan una fracción insignificante de las entradas de articulaciones, del objetivo y de puntos clave. Por eso, PolicyIK representa el error de pose en dos escalas y adapta el tamaño de paso al error.
Retroalimentación de pose multiescala y escalado de acciones
Siguiendo las representaciones de pose basadas en puntos clave, tres desplazamientos locales no colineales [fórmula no proporcionada en la fuente] definen los errores de pose como diferencias de posición, expresando los errores de traslación y orientación.
Para que la política pueda percibir errores milimétricos, el error también se expresa en el marco actual del efector final y se limita en una escala gruesa y otra fina.
Diseño de la recompensa
La recompensa combina términos para la fase de aproximación y la fase terminal.
El seguimiento guía la aproximación; el progreso y la permanencia recompensan alcanzar la tolerancia y mantenerse dentro de ella; y los costes regularizan el movimiento. El apéndice B enumera todos los términos y sus ponderaciones.
Entrenamiento en simulación y despliegue
PolicyIK se entrena con PPO y estimación de ventaja generalizada en 4,096 entornos. Las trayectorias de entrenamiento duran 12 segundos y el objetivo se vuelve a muestrear cada 4 segundos sin reiniciar el brazo. Por tanto, cada trayectoria encadena tres intentos, y los intentos posteriores comienzan donde dejó el brazo el anterior. El apéndice B detalla la arquitectura y los ajustes de entrenamiento.
Un fallo con criterio estricto en un solo intento termina cerca del objetivo, con un pequeño error residual, o más lejos de él. Cuando se permiten intentos adicionales, un protocolo fijo gestiona cada caso. Si el fallo se produce a menos de 1 cm del objetivo, se vuelve a intentar con un objetivo corregido que cancela el error residual. En los demás casos se permiten hasta ocho intentos, que comienzan ordenando un objetivo transitorio para llevar el brazo a una configuración diferente. Cada intento se evalúa respecto del objetivo original.
Entrenamiento con robots reales
Los objetivos que requieren grandes rotaciones suelen exigir un desvío en el espacio articular, durante el cual el error de pose aumenta inicialmente. Un crítico estándar tiende a asignar valores similares a poses que parecen cercanas, por lo que favorece avanzar directamente hacia el objetivo. Siguiendo LAN, el crítico obtiene la representación del estado y la acción mediante una red, y la del objetivo mediante otra; luego predice el valor a partir de la diferencia entre ambas. Se ha demostrado que este diseño arquitectónico captura mejor la distancia temporal entre observaciones y objetivos.
Experimentos
Los experimentos evalúan la precisión de PolicyIK en simulación, la contribución de cada componente y su uso como controlador de bajo nivel en tareas simuladas de recoger y colocar, así como en un brazo físico.
Tareas de entrenamiento
Cada episodio de entrenamiento dura 150 pasos de control y tiene un objetivo. La tarea procede de una de dos fuentes.
Entorno y recompensa
La Ecuación 2 recorta la referencia en los límites articulares. Una articulación que mantiene un objetivo cerca de su límite contra la gravedad necesita una referencia más allá de la configuración objetivo, algo que un recorte rígido en el límite impide. En el hardware, el recorte se relaja en un margen no especificado mientras la articulación medida siga dentro del límite. Una vez que la articulación medida alcanza el límite, no se acepta ningún paso adicional hacia fuera, por lo que la articulación nunca lo sobrepasa.
Preguntas frecuentes
¿Por qué PolicyIK representa el error de pose en dos escalas? La normalización de entradas puede hacer que las diferencias milimétricas resulten insignificantes frente a la dispersión de las entradas en el espacio de trabajo. La representación en dos escalas ayuda a la política a percibir y resolver estos pequeños errores.
¿Cómo se entrena PolicyIK en simulación? Utiliza PPO y estimación de ventaja generalizada en 4,096 entornos. En cada trayectoria de 12 segundos se vuelve a muestrear el objetivo cada 4 segundos sin reiniciar el brazo.
¿Cómo gestiona el protocolo de reintentos los intentos fallidos? Si el fallo se produce a menos de 1 cm del objetivo, se vuelve a intentar con un objetivo corregido que cancela el error residual. En los demás casos se pueden realizar hasta ocho intentos, comenzando con un objetivo transitorio que lleva el brazo a una configuración diferente.
¿Por qué el crítico para robots reales utiliza representaciones independientes del estado y la acción, y del objetivo? Las grandes rotaciones pueden requerir un desvío en el espacio articular que inicialmente aumenta el error de pose. Predecir el valor a partir de la diferencia entre la representación del estado y la acción y la representación del objetivo busca capturar mejor la distancia temporal hasta el objetivo.