Construcción de trayectorias sensibles a la fuerza a partir de vídeo y audio
El método utiliza el primer fotograma como punto de partida fijo. Dado que el método está centrado en el robot, el fotograma inicial debe contener el efector final del robot.
Para limpiar una pizarra, pelar una zanahoria y pulsar el botón de una lámpara, todos los vídeos generados se pasan directamente a segmentación sin revisión manual. Para apilar cajas de bombones, se generan 20 vídeos y se descartan 10 porque se desvían del agarre indicado en el prompt: la pinza agarra la caja por los laterales en lugar de deslizarse por debajo —algo que la pinza paralela no puede ejecutar—, o el efector final gira mientras sostiene la caja. No se aplica ninguna otra selección.
Ordenación de la fuerza condicionada por el prompt en el audio generado
Para comprobar si la sonoridad relativa del audio generado refleja la magnitud relativa de la fuerza especificada en el prompt de la tarea, se realiza un experimento controlado de golpes de martillo. A partir de la misma imagen de entrada de una mano que sostiene un martillo sobre una mesa, se proporciona a Seedance 2.0 el siguiente prompt:
> «Golpea la mesa exactamente dos veces: primero con una magnitud de fuerza especificada y después con una segunda magnitud de fuerza especificada. Cada golpe debe producir exactamente un contacto limpio, sin rebotes».
El audio generado conserva el orden de fuerzas especificado en 18 de 20 pruebas, con 9 de 10 pruebas satisfactorias en cada uno de los órdenes indicados. Estos resultados sugieren que, en este contexto controlado de impacto, Seedance 2.0 puede generar audio cuya sonoridad relativa refleja el orden de fuerzas especificado en el prompt.
Esto evalúa si el generador sigue un orden de fuerzas indicado en el prompt, no si la sonoridad mide la fuerza física del contacto. Estas pruebas se muestran en el vídeo suplementario y en el sitio web del proyecto.
Debate y conclusiones
Se presentó un proceso que utiliza conjuntamente vídeo y audio generados para construir trayectorias sensibles a la fuerza destinadas a la manipulación con abundantes contactos. En cuatro tareas con un robot real, el proceso permite ejecutar las tareas sin ejemplos, mientras que la reproducción basada únicamente en la cinemática falla con frecuencia.
Los estudios de ablación del perfil de fuerza muestran que el perfil de fuerza definido por el audio iguala o supera en tasa de éxito a la ejecución con fuerza constante, con menor fuerza máxima e impulso. Un estudio controlado de golpes de martillo muestra que el audio generado conserva el orden de fuerzas especificado en el prompt. Por último, las demostraciones recopiladas con el proceso permiten entrenar Diffusion Policies específicas para cada tarea, capaces de generalizar a distintas posiciones y apariencias de los objetos.
Limitaciones
SAM-Audio puede conservar sonidos no relacionados, lo que hace que el perfil de sonoridad resultante sea un indicador imperfecto de la fuerza, aunque el filtrado geométrico de los contactos, los límites de fuerza y la regulación en lazo cerrado limitan estos errores.
El perfil de fuerza definido por el audio no es único ni necesariamente óptimo, y una fuerza constante ajustada puede ofrecer un rendimiento comparable en tareas con contacto sostenido. Por último, el proceso actual necesita tiempo para generar el vídeo y extraer la trayectoria y el perfil de fuerza. En consecuencia, la escena debe permanecer sin cambios durante este proceso y el sistema todavía no permite adaptarse en tiempo real a los cambios del entorno.
Trabajo futuro
Como línea de trabajo futura, podría incorporarse retroalimentación de audio en tiempo real durante la ejecución para adaptar la fuerza en lazo cerrado, así como mejorar la estimación de profundidad en el vídeo generado con el fin de reducir el error de trayectoria.
La combinación del proceso con un agente de IA también podría cerrar el ciclo: el robot podría proponer sus propios prompts de tarea, ejecutar los vídeos generados y devolver los resultados y las fuerzas medidas a la siguiente ronda de generación. De este modo, la ejecución de tareas sensibles a la fuerza y la recopilación de datos podrían convertirse en procesos autoiterativos.
Preguntas frecuentes
¿Cómo se construyen las trayectorias sensibles a la fuerza? El vídeo generado proporciona la trayectoria, mientras que el audio generado se utiliza para definir el perfil de fuerza durante la manipulación con abundantes contactos.
¿Hasta qué punto el audio generado conservó el orden de fuerzas indicado en el prompt? El audio generado conservó el orden de fuerzas especificado en 18 de 20 pruebas de golpes de martillo.
¿Qué tareas utilizaron vídeos generados sin revisión manual? Para limpiar la pizarra, pelar la zanahoria y pulsar el botón de la lámpara se utilizó directamente en la segmentación cada vídeo generado.
¿Cuál es la principal limitación del proceso actual? La generación del vídeo y la extracción de la trayectoria y del perfil de fuerza requieren tiempo, por lo que la escena debe permanecer sin cambios y todavía no se permite la adaptación ambiental en tiempo real.