Las políticas de manipulación se evalúan predominantemente según el éxito binario de la tarea. El éxito combina la percepción, el agarre, la ejecución y la estrategia en un único bit, por lo que las políticas pueden fallar por distintos motivos y, aun así, recibir la misma puntuación. También puede inducir a error: una política puede obtener una puntuación aprobatoria aunque el movimiento que ordena sea incorrecto. Por ejemplo, una política de clonación conductual entrenada con puertas abre cajones no vistos durante el entrenamiento en más de la mitad de los episodios, empleando el movimiento arqueado típico de las puertas —una rotación que la articulación del cajón no permite—, y aun así cada episodio se puntúa como un éxito. Una buena evaluación debería medir el movimiento ordenado con respecto a la cinemática del objetivo.
Introducción
Las políticas de manipulación se evalúan predominantemente según el éxito binario de la tarea. El éxito combina la percepción, el agarre, la ejecución y la estrategia en un único bit, de modo que dos políticas pueden fallar por motivos distintos y obtener la misma puntuación. También puede inducir a error y mostrar una puntuación aparentemente buena aunque el movimiento ordenado sea incorrecto.
Por ejemplo, una política de clonación conductual entrenada con puertas abre cajones no vistos durante el entrenamiento en más de la mitad de los episodios, empleando el movimiento arqueado típico de las puertas. La articulación del cajón no permite esta rotación, pero el éxito hace que cada episodio cuente como aprobado. Una buena evaluación debería medir el movimiento ordenado con respecto a la cinemática del objetivo.
Estrategia referenciada a restricciones
La Estrategia referenciada a restricciones (CRS) aísla el movimiento ordenado de los factores de confusión mediante una evaluación contrafactual: suponiendo que el tirador ya está agarrado en una pose válida, ¿es el movimiento ordenado por la política cinemáticamente coherente con la restricción del objeto?
CRS responde a esta pregunta mediante sondeos con forzado por el docente. Un controlador programado, el oráculo, sitúa al robot en estados de referencia a lo largo de una secuencia de apertura, y en cada estado se registra la velocidad espacial del efector final que ordena la política. Los estados de referencia determinan dónde se evalúa la política, mientras que la geometría de la articulación determina qué se considera una orden válida.
Preguntas frecuentes
¿Qué no capta el éxito binario de una tarea? Combina la percepción, el agarre, la ejecución y la estrategia en una sola puntuación, por lo que distintos fallos pueden recibir el mismo resultado.
¿Cómo puede inducir a error una puntuación de éxito? Una política puede obtener una puntuación aprobatoria aunque el movimiento que ordena sea incoherente con la restricción de la articulación del objeto.
¿Qué evalúa CRS? Evalúa si el movimiento que ordena una política es cinemáticamente coherente con la restricción de un objeto, suponiendo que el agarre es válido.
¿Cómo sondea CRS una política? Un oráculo sitúa al robot en estados de referencia a lo largo de una secuencia de apertura, y en cada estado se registra la velocidad espacial del efector final que ordena la política.