Metodología
El marco preentrena la destreza básica con un objetivo de tarea genérico y realiza un postentrenamiento para tareas posteriores con abundantes contactos. Consta de tres etapas:
- Preentrenar en simulación una política diestra para una tarea genérica de manipulación de objetos.
- Transferir el comportamiento preentrenado mediante destilación y adaptarlo con un postentrenamiento de aprendizaje por refuerzo masivamente paralelo y on-policy, evitando el olvido catastrófico mediante actualizaciones estables de la política.
- Destilar un profesor especializado en la tarea en un estudiante basado en visión estéreo RGB, capaz de desplegarse en el mundo real sin entrenamiento adicional.
Limitaciones
Aunque las políticas para el mundo real muestran comportamientos muy similares a los observados en simulación, la percepción sigue siendo el principal cuello de botella durante la destilación. Los fallos suelen coincidir con estimaciones incorrectas de la orientación del pasador asimétrico cuando está ocluido, mientras que la inestabilidad del agarre puede deberse a la pequeña zona de contacto entre las puntas redondeadas de los dedos Allegro y el lateral redondeado del pasador durante movimientos rápidos del brazo.
La detección táctil en las yemas de los dedos de Flexiv-Sharpa reduce la ambigüedad del contacto, pero la percepción robusta y centrada en el objeto cuando hay oclusiones sigue siendo un problema abierto. Una cámara montada en la muñeca y la incorporación de sensores táctiles en otras plataformas podrían ayudar a superar estas limitaciones.
Aleatorización del dominio (ADR)
Los siguientes parámetros se ajustan gradualmente de fácil a difícil a lo largo de 50 incrementos de ADR, activados cuando la tasa de éxito acumulada supera 0,4:
- Gravedad: La gravedad se ajusta progresivamente dentro de un intervalo especificado en metros por segundo cuadrado.
- Precisión del objetivo: Los requisitos de precisión del objetivo se vuelven más estrictos durante el entrenamiento.
B.1 Retropropagación desde TaskMaps hasta la raíz
El segundo término es la fuerza de curvatura necesaria para mantener, conforme a la regla de la cadena, la aceleración de la hoja igual a la fuerza de la hoja retropropagada.
B.2 Atractores en el espacio de configuraciones
La métrica es isótropa, con una transición suave entre una masa mínima y una máxima en torno a la norma del error.
B.8 Parámetros de Fabric ajustados mediante ADR
Varios parámetros de Fabric forman parte del currículo de ADR, en lugar de mantenerse fijos con los valores predeterminados de YAML:
- Ganancia de amortiguamiento en el espacio de configuraciones: Se ajusta desde un valor alto, que suaviza considerablemente el control y facilita la tarea, hacia un valor menor, que produce un comportamiento más reactivo a medida que mejora la tasa de éxito.
- Objetivo energético del control de velocidad: Se ajusta para ampliar el intervalo de velocidades de movimiento al que se expone la política.
- Atenuación de la velocidad: Escalar aplicado entre la salida de velocidad de Fabric y el controlador articular, también ajustado mediante ADR.
Por tanto, Fabric no se trata como un controlador de caja negra fijo, sino como parte del currículo. A medida que aumenta la competencia de la política, la regularización proporcionada por Fabric se relaja gradualmente.
G.1 Pérdida de clonación de comportamiento
El término de clonación de comportamiento hace coincidir los dos momentos de la distribución de acciones del estudiante con los del profesor mediante una distancia L2 ponderada por Mahalanobis.
En el sistema KUKA-iiwa7 y Allegro, la desviación estándar fija del profesor actúa como ponderación de precisión por dimensión. Las articulaciones sobre las que el profesor tiene mayor confianza —indicada por una desviación estándar menor— contribuyen más intensamente a la pérdida.
G.2 Pérdida auxiliar de pose con ocho puntos clave
La cabeza auxiliar predice las ocho esquinas de la caja delimitadora del pasador en el marco de referencia del mundo. La pérdida es la norma L2 de los residuos por esquina.
G.3 Objetivo total de destilación
Los términos de clonación de comportamiento y de pérdida auxiliar de pose se combinan mediante sus respectivos coeficientes de ponderación.
Preguntas frecuentes
¿Cuáles son las tres etapas del marco ADEPT? Las etapas son el preentrenamiento en simulación, el postentrenamiento mediante aprendizaje por refuerzo con destilación y la destilación profesor-estudiante para un estudiante basado en visión estéreo RGB.
¿Cuál es el principal cuello de botella durante la destilación en el mundo real? La percepción es el principal cuello de botella, especialmente la estimación de la orientación del pasador asimétrico cuando está ocluido.
¿Cómo modifica ADR el proceso de entrenamiento? ADR ajusta progresivamente los parámetros de fácil a difícil en 50 incrementos cuando la tasa de éxito acumulada supera 0,4.
¿Qué predice la cabeza auxiliar de pose? Predice las ocho esquinas de la caja delimitadora del pasador en el marco de referencia del mundo.