La manipulación en entornos abiertos requiere respuestas rápidas a eventos de contacto y deslizamiento. Cuando la punta de un dedo hace contacto por primera vez, o cuando un agarre pasa de estar fijo a deslizarse, las señales relevantes de interacción mano-objeto suelen ser breves, sutiles o estar visualmente ocluidas. Presentamos VibeAct, un marco que estima estas interacciones de contacto y deslizamiento utilizando micrófonos piezoeléctricos integrados en una mano robótica y las aprovecha como observaciones táctiles para políticas de manipulación diestra aprendidas.
Aprender manipulación diestra directamente a partir de observaciones vibrotáctiles del mundo real es igualmente poco práctico. Recolectar demostraciones a gran escala con contacto intensivo requiere mucho trabajo, mientras que el aprendizaje por refuerzo en línea es prohibitivamente costoso y potencialmente inseguro debido a la exploración inestable durante el entrenamiento temprano. En conjunto, estas restricciones motivan una representación que pueda tender un puente entre la detección vibrotáctil real y el control basado en simulación.
La idea central de este trabajo es que el contacto y el deslizamiento proporcionan una interfaz entre la detección y el control para el aprendizaje de políticas de simulación a realidad. El inicio del contacto, el deslizamiento binario y la magnitud escalar del deslizamiento son cantidades de baja dimensión y relevantes para la tarea que pueden estimarse a partir de señales de micrófono reales y calcularse directamente en un simulador de contacto. En lugar de entrenar políticas con audio bruto, VibeAct aprende un estimador táctil que mapea formas de onda de micrófono a esta representación física, y entrena políticas de aprendizaje por refuerzo en simulación usando la misma representación como canal de observación. El estimador resuelve el problema de detección, mientras que el simulador resuelve el problema de control.
Implementamos VibeAct en una mano diestra montada en un brazo robótico, con micrófonos piezoeléctricos incrustados en cada punta de dedo. Reproducimos grabaciones del mundo real de trayectorias robóticas y poses de objetos en un clon digital calibrado, y usamos el solucionador de contacto del simulador para generar etiquetas de contacto y deslizamiento para entrenar el estimador táctil. Usando la misma representación táctil junto con observaciones propioceptivas y de nube de puntos, entrenamos políticas PPO completamente en simulación. Luego evaluamos las políticas aprendidas en tareas de manipulación con contacto intensivo, incluyendo reorientación en la mano e inserción de clavijas.
Este artículo hace tres contribuciones: (i) un marco de simulación a realidad para destreza vibrotáctil basado en una representación compartida de contacto y deslizamiento que une la detección vibrotáctil real y el aprendizaje de políticas basado en simulación; (ii) un pipeline de etiquetado de datos con clon digital que genera automáticamente supervisión de contacto y deslizamiento por dedo a partir de demostraciones del mundo real; y (iii) un estudio empírico que muestra que esta representación sirve como una observación táctil efectiva para el aprendizaje por refuerzo en tareas de manipulación diestra con contacto intensivo.
Método
VibeAct tiene tres componentes. Primero, un pipeline de teleoperación registra los estados del robot y del objeto, sincronizados con señales vibroacústicas, luego reproduce trayectorias en un clon digital calibrado en simulación para generar etiquetas de contacto y deslizamiento por dedo como representación táctil. Segundo, un estimador táctil aprende a mapear señales de micrófono reales a esta representación táctil. Tercero, las políticas de RL se entrenan en simulación usando propiocepción, nubes de puntos y la misma representación táctil como observaciones. En despliegue, el estimador entrenado reemplaza el canal táctil derivado de la simulación.
Representación Táctil
La representación excluye intencionalmente información privilegiada del simulador como la ubicación del contacto, la normal de la superficie, la dirección tangencial, la identidad del objeto y los vectores de fuerza. Esta restricción es importante porque la representación debe ser predecible a partir de las señales físicas del micrófono y transferible entre objetos y tareas. Al mismo tiempo, preserva la retroalimentación clave necesaria para la manipulación reactiva: si la punta de un dedo acaba de tocar el objeto, si hay deslizamiento y la gravedad de ese deslizamiento.
Estimador Táctil
Asumimos que el inicio del contacto y el deslizamiento mantienen el mismo significado físico tanto en simulación como en la detección vibroacústica del mundo real. Bajo esta suposición, entrenamos un estimador táctil que mapea el audio del micrófono real a las etiquetas de contacto y deslizamiento generadas por el pipeline de reproducción de clon digital.
Aprendizaje de Políticas
Entrenamos arquitecturas de política consistentes en las cinco tareas en la simulación MuJoCo con PPO, variando solo la escena y la recompensa de la tarea. Cada tarea instancia el mismo modelo xArm7 y LEAP hand bajo aleatorización de dominio por episodio de fricción, masa, escala y pose del objeto, por lo que la política debe basarse en la retroalimentación de contacto en lugar de geometría memorizada.
Evaluación del Estimador Táctil
Recolectamos dos conjuntos de datos teleoperados para entrenar y evaluar el estimador táctil antes del despliegue de la política. El conjunto de datos de objeto fijo (cinco horas) contiene interacciones con objetos montados rígidamente en la mesa, induciendo deslizamiento únicamente mediante el movimiento del robot. Esto escala diversos eventos de contacto y deslizamiento pero produce dinámicas de deslizamiento diferentes a la manipulación diestra. El conjunto de datos de objeto móvil (menos de dos horas) implica manipulación en mano de objetos que se mueven libremente, con deslizamiento que surge del movimiento de los dedos, del brazo y de la gravedad. Preentrenamos en los datos de objeto fijo para aprender patrones vibroacústicos generales, luego ajustamos fino en los datos de objeto móvil para igualar el despliegue. Evaluamos todos los modelos en una partición de objeto móvil reservada, reportando F1 para detección binaria de inicio de contacto y presencia de deslizamiento, y MAE para magnitud de deslizamiento, promediado en los cuatro dedos.
Evaluamos además el uso compartido de parámetros entre dedos. Compartir el codificador mientras se mantienen cabezas de predicción independientes reduce el F1 de inicio de contacto en un 2.3% y aumenta el MAE de magnitud de deslizamiento en un 1.9% en relación con VibeAct. Compartir tanto el codificador como las cabezas de predicción agrava aún más la degradación, reduciendo el F1 de inicio de contacto en un 3.7% y aumentando el MAE en un 4.8%. Estos resultados sugieren que cada punta de dedo exhibe geometría de contacto y características de propagación de vibración distintas que se benefician de una extracción de características y cabezas de predicción dedicadas.
Rendimiento de las Tareas
Evaluamos VibeAct contra una línea base de propiocepción y nube de puntos (Prop+PC) sin entrada táctil, y ablacionamos la representación táctil agregando incrementalmente los canales de inicio de contacto, presencia de deslizamiento y magnitud de deslizamiento. Reportamos los resultados basados en 100 pruebas entrenadas en 3 semillas aleatorias.
Las ablaciones revelan que la magnitud de deslizamiento es un canal crítico, donde agregarla sola impulsa el mayor salto en rendimiento en todas las tareas. El inicio de contacto produce ganancias inconsistentes de forma aislada y en algunas tareas perjudica el rendimiento, probablemente porque los pulsos de inicio dispersos por sí solos llevan información limitada para el control reactivo sostenido, mientras que la presencia de deslizamiento ofrece un beneficio intermedio. En conjunto, estos resultados indican que la señal continua de magnitud de deslizamiento es la fuente principal de la ventaja de VibeAct, proporcionando la retroalimentación gradual necesaria para la manipulación con contacto intensivo.
Desplegamos las políticas entrenadas en simulación directamente en la plataforma física, reemplazando el canal táctil derivado del simulador con el estimador entrenado. VibeAct mejora sobre Prop+PC en cada tarea desplegada. Estos resultados indican que la representación de contacto y deslizamiento, aprendida completamente de grabaciones de micrófono reales y utilizada como un canal de observación intercambiable, conserva su beneficio bajo detección real y ruido de actuación.
Limitaciones
La representación compacta de contacto y deslizamiento de VibeAct descarta información en la señal de vibración bruta, como la ubicación del contacto, la textura de la superficie y las dinámicas de interacción más allá de la magnitud del deslizamiento; representaciones más ricas podrían ayudar pero requerirían una alineación acústica simulación-realidad más cercana. El estimador táctil también está ligado a una configuración de hardware fija y puede necesitar recalibración si la colocación del micrófono, el material del dedo o las propiedades del objeto cambian. El etiquetado con clon digital, aunque libre de anotaciones, depende de un seguimiento preciso de la pose del objeto, lo que limita su uso en entornos no estructurados. Finalmente, la política trata la representación táctil como un vector plano, dejando espacio para arquitecturas que modelen la estructura espacial y temporal de los eventos de contacto por dedo.
Arquitectura de Red
Se usa la misma arquitectura de red para cada tarea y cada variante táctil, donde solo la dimensión de salida de la cabeza de acción cambia con el espacio de acción de la tarea.
Funciones de Recompensa
La recompensa modelada combina cinco términos:
- Progreso de ascenso: Recompensa por nuevos incrementos positivos de la altura z mundial del objeto sostenido (unilateral, basado en el mejor hasta ahora)
- Avance por dedo: Recompensa por cada punta de dedo por nuevo descenso en el eje del cuerpo del objeto (unilateral)
- Sujeción: Recompensa por paso, proporcional al número de puntas de dedo en contacto
- Caída: Penalización única si el objeto sostenido cae más de un umbral por debajo de su pose inicial
Preguntas Frecuentes
¿Qué hardware de detección usa VibeAct? VibeAct usa micrófonos piezoeléctricos incrustados en cada punta de dedo de una mano robótica diestra para capturar señales vibroacústicas durante eventos de contacto y deslizamiento.
¿Cómo une VibeAct la simulación y la realidad para la detección táctil? Entrena un estimador táctil que mapea señales de micrófono reales a una representación compartida de contacto y deslizamiento, que también se usa como canal de observación para políticas de aprendizaje por refuerzo entrenadas completamente en simulación.
¿Qué tareas se usaron para evaluar VibeAct? El marco se evaluó en tareas de manipulación con contacto intensivo, incluyendo reorientación en la mano e inserción de clavijas, usando una mano diestra montada en un brazo robótico.
¿Cuál es la señal táctil más crítica para el rendimiento de VibeAct? La magnitud de deslizamiento es el canal más crítico, ya que proporciona retroalimentación gradual continua que impulsa las mayores ganancias de rendimiento en todas las tareas probadas.