La destreza humana no depende solo de la vista; se fundamenta en la capacidad de sentir y reaccionar rápidamente a señales táctiles detalladas. Mientras que tareas cotidianas como deslizar una tarjeta delgada en una ranura o abrir una cerradura con una llave son sencillas para los humanos, siguen siendo un desafío para las políticas actuales de aprendizaje robótico. Dominarlas requiere comportamientos reactivos al tacto: respuestas motoras inmediatas en bucle cerrado a señales táctiles, mucho más rápidas que los bucles de control basados en visión convencionales.
Introducción
La destreza humana no depende solo de la vista; se fundamenta en la capacidad de sentir y reaccionar rápidamente a señales táctiles detalladas. Mientras que tareas cotidianas como deslizar una tarjeta delgada en una ranura o abrir una cerradura con una llave son sencillas para los humanos, siguen siendo un desafío para las políticas actuales de aprendizaje robótico. Dominarlas requiere comportamientos reactivos al tacto: respuestas motoras inmediatas en bucle cerrado a señales táctiles, mucho más rápidas que los bucles de control basados en visión convencionales.
Receta de entrenamiento
T-Rex se entrena con una receta de tres etapas que transfiere progresivamente priors visomotores humanos a gran escala al control robótico diestro reactivo al tacto.
Preentrenamiento egocéntrico humano a gran escala
Siguiendo EgoScale, preentrenamos los expertos latente y de acción en 22,889 horas de video humano egocéntrico. El experto latente aprende representaciones visuales y lingüísticas a partir de observaciones en primera persona, mientras que el experto de acción se entrena con movimientos de brazo y mano humanos reorientados representados en un espacio de acción unificado. Esta etapa proporciona un amplio fundamento semántico y priors visomotores para la manipulación diestra sin experto táctil.
Entrenamiento intermedio robótico con base táctil
El preentrenamiento humano a gran escala proporciona priors visomotores amplios pero un fundamento limitado en la dinámica de contacto ejecutable por robots. Salvamos esta brecha con 100 horas de datos de manipulación bimanual teleoperada con señales táctiles sincronizadas, organizadas en torno a diversos primitivos motores e interacciones con objetos para una cobertura compacta de comportamientos ricos en contacto. Esta etapa adapta el experto de acción a observaciones multivista del robot y acciones ejecutables, mientras entrena al experto táctil para realizar eliminación de ruido de alta frecuencia como un refinamiento detallado.
Postentrenamiento específico de habilidades
Después del entrenamiento intermedio con base táctil, T-Rex ya exhibe capacidades de manipulación ricas en contacto de cero disparos. Para habilidades más complejas o específicas de tareas, afinamos aún más el modelo en aproximadamente 100 demostraciones de tareas, lo que le permite adaptarse a requisitos específicos de la tarea mientras preserva los comportamientos reactivos al tacto adquiridos durante el entrenamiento intermedio.
Configuración experimental
Protocolo de evaluación y métricas
Evaluamos todos los métodos en las 12 tareas reactivas al tacto definidas en el Apéndice F. Para cada tarea, probamos 16 ensayos, con posiciones y rotaciones de objetos aleatorizadas entre ensayos. Reportamos la tasa de éxito promedio de la tarea, utilizando rúbricas basadas en progreso para tareas de múltiples etapas con el fin de capturar la finalización parcial. Los resultados se promedian entre ensayos y luego entre tareas.
Conclusión
Permitimos que las políticas de manipulación fundamentales logren un control diestro reactivo al tacto escalable. Presentamos T-Rex, un modelo de Mezcla de Expertos Transformadores (MoT) que utiliza refinamiento táctil asíncrono y una codificación VAE táctil dinámica. Nuestro marco aprovecha el preentrenamiento general con video humano, seguido de un entrenamiento intermedio en nuestro conjunto de datos de manipulación diestra sincronizada con tacto de 100 horas, de código abierto y recientemente aportado. Después del postentrenamiento y la evaluación en 12 tareas reactivas al tacto del mundo real, T-Rex supera a las líneas base VLA diestras y sensibles al tacto existentes en una tasa de éxito promedio del 30% y mejora significativamente la eficiencia de datos.
Limitaciones y trabajo futuro
Si bien T-Rex demuestra un rendimiento sólido y eficiencia de datos, destaca varias vías para futuras investigaciones. En primer lugar, para tareas de horizonte largo con coordinación de contacto precisa y tolerancias ajustadas donde la teleoperación es difícil, el trabajo futuro podría integrar refuerzo o refinamiento basado en interacción en línea. En segundo lugar, la manipulación reactiva al tacto sigue siendo un cuello de botella debido al hardware, incluyendo distorsión del sensor, desviación de calibración entre dispositivos y la ausencia de detección densa en la palma para la manipulación con toda la mano. El trabajo futuro podría explorar representaciones unificadas entre sensores táctiles heterogéneos y hardware táctil más rico para toda la mano.
Agradecemos a Sharpa por proporcionar actualizaciones de mantenimiento para su equipo. También agradecemos a Yusuke Kato de Panasonic por sus contribuciones a la recopilación de parte del conjunto de datos T-Rex. Los autores de UC Berkeley fueron apoyados en parte por el Berkeley Artificial Intelligence Research Humanoid Intelligence Center (BAIR HIC). La Universidad Sapienza agradece la financiación de Panasonic y de la subvención Sapienza RG123188B3EF6A80 (CENTS). Agradecemos a Alessio Sampieri y Luca Franco (ItalAI S.r.l.) por sus fructíferas discusiones.
Preguntas frecuentes
¿Qué hace diferente a T-Rex de las políticas de manipulación robótica existentes? T-Rex utiliza control reactivo al tacto con un modelo de Mezcla de Expertos Transformadores que procesa señales táctiles más rápido que los bucles basados en visión convencionales, permitiendo una manipulación rica en contacto en tiempo real.
¿Cuántos datos de entrenamiento requiere T-Rex? T-Rex utiliza una receta de entrenamiento de tres etapas: 22,889 horas de video humano egocéntrico para preentrenamiento, 100 horas de datos bimanuales teleoperados con señales táctiles para entrenamiento intermedio y aproximadamente 100 demostraciones de tareas para el afinamiento específico de habilidades.
¿Qué tipos de tareas puede realizar T-Rex? T-Rex fue evaluado en 12 tareas reactivas al tacto que incluyen inserción de precisión, giro de llaves y deslizamiento de tarjetas, todas requiriendo retroalimentación táctil detallada y respuestas motoras rápidas.
¿Cuáles son las principales limitaciones de la manipulación reactiva al tacto? Las limitaciones clave incluyen distorsión del sensor, desviación de calibración entre dispositivos y la ausencia de detección densa en la palma para la manipulación con toda la mano, que el trabajo futuro busca abordar.