El marco S2A2 consta de una configuración del entorno, el modelo S2A2 y las tareas de manipulación con conciencia acústica. El modelo S2A2 incluye pipelines de procesamiento que extraen características por modalidad de las observaciones y una política multimodal que las integra para generar la siguiente acción. El marco S2A2 está orientado a tareas de manipulación con conciencia acústica en las que el objetivo o destino de la manipulación no puede determinarse únicamente mediante la visión, y determina acciones utilizando información acústica espacial y de señal acústica además de la visión.
Formulación del Problema
El marco S2A2 está orientado a tareas de manipulación con conciencia acústica en las que el objetivo o destino de la manipulación no puede determinarse únicamente mediante la visión, y determina acciones utilizando información acústica espacial y de señal acústica además de la visión. La pérdida específica depende de la red de política; los detalles se proporcionan en la sección de Arquitectura de Política y Entrenamiento.
Pipeline de Procesamiento
El modelo S2A2 tiene tres pipelines que procesan información acústica espacial, información de señal acústica e información visual. Cada pipeline consta de un preprocesamiento y un codificador apropiado para su modalidad de entrada. Excepto el pipeline de imágenes RGB, que utiliza directamente el codificador visual de la política subyacente, el pipeline de mapa acústico espacial y el pipeline de espectrograma se describen a continuación.
Todos los arreglos de micrófonos se colocan en el mismo plano que el espacio de trabajo. El pipeline de mapa acústico espacial estima la probabilidad de la dirección de la fuente a partir de la información acústica multicanal registrada por los arreglos y la proyecta en un mapa 2D correspondiente al espacio de trabajo. Específicamente, se aplica el método de clasificación de señales múltiples (MUSIC) a la señal multicanal de cada arreglo. El audio de entrada se adquiere a una frecuencia de muestreo de 16 kHz y se transforma al dominio de la frecuencia mediante una transformada de Fourier de tiempo corto (STFT) con una longitud FFT de 512 y un solapamiento del 50%.
Política Multimodal
Como se describe en la sección del pipeline de procesamiento, cada pipeline produce un mapa de características. El formato para alimentar estos mapas de características a la red de política difiere según la arquitectura de la política.
Experimentos con Robots Reales
Se seleccionaron dos tareas para la evaluación: la tarea L&I, que requiere capacidades de localización e identificación, y la tarea exploratoria, que requiere exploración activa. Sus tasas de éxito confirman que, para tareas difíciles de resolver con la línea base solo visual, el modelo S2A2 que integra información acústica también es efectivo en el mundo real.
Conclusión
Se introdujeron tareas de manipulación con conciencia acústica, en las que el objetivo o destino de la manipulación no puede determinarse únicamente mediante la visión, y se propuso S2A2 como un marco de aprendizaje por imitación que utiliza información acústica. Los experimentos de simulación mostraron la importancia de utilizar representaciones acordes con las capacidades acústicas que requiere una tarea, que las modalidades acústicas innecesarias pueden degradar el rendimiento, y que la eficiencia del uso de información acústica depende de la arquitectura de la política. Los experimentos con robots reales confirmaron adicionalmente la efectividad de S2A2, que superó a la línea base solo visual.
Limitaciones
La versión final para la cámara incluirá agradecimientos, incluyendo a los revisores que hicieron comentarios útiles, a los colegas que contribuyeron a las ideas, y a las agencias financiadoras y patrocinadores corporativos que brindaron apoyo financiero.
Diferencias entre Experimentos de Simulación y del Mundo Real
En los experimentos con robots reales, se utilizan los mismos pipelines que en la simulación para el mapa acústico espacial y el espectrograma. Sin embargo, para tener en cuenta la colocación de los micrófonos, la configuración del robot y las características de ruido presentes en las grabaciones reales, se introdujeron las siguientes diferencias.
Extracción de Estados Latentes
Como representación de capa intermedia, para ACT se utilizó la salida del codificador transformer que codifica la secuencia de observación. Para Diffusion Policy, se utilizaron las características cerca del cuello de botella que conecta el codificador y decodificador U-Net. Para VQ-BeT, se utilizó la salida de la capa intermedia de los bloques transformer contenidos en la red de política tipo GPT. Para el modelo fundacional, se utilizó el estado oculto final en el lado del modelo fundacional que integra características visuales y de lenguaje. Debido a que el mismo U-Net se aplica múltiples veces durante el proceso de denoising en Diffusion Policy, se utilizaron las características obtenidas en el punto medio de este proceso como representación de capa intermedia.
Las características se registraron en cada inferencia de política. Tanto las representaciones de la capa final como las de la capa intermedia se promediaron a lo largo del eje de la secuencia y se trataron como un único vector latente por paso de inferencia. Cada punto en el gráfico t-SNE corresponde a las características de una secuencia de acción completa generada por una inferencia. Para t-SNE, la dimensionalidad de salida se fijó en 2, se utilizó inicialización PCA, la tasa de aprendizaje se estableció automáticamente y todas las semillas aleatorias se fijaron.
Preguntas Frecuentes
¿En qué se diferencia S2A2 de los enfoques estándar de aprendizaje por imitación para manipulación robótica? S2A2 integra información acústica espacial y de señal acústica además de la visión, lo que permite la manipulación en tareas donde el objetivo o destino no puede determinarse únicamente a partir de señales visuales.
¿Qué métodos de procesamiento acústico emplea el marco S2A2? El marco utiliza el método MUSIC aplicado a señales de audio multicanal registradas por arreglos de micrófonos para estimar la probabilidad de la dirección de la fuente, y proyecta esta información en un mapa 2D correspondiente al espacio de trabajo.
¿Agregar información acústica siempre mejora el rendimiento de la manipulación robótica? No, los experimentos de simulación mostraron que las modalidades acústicas innecesarias pueden degradar el rendimiento, y la eficiencia del uso de información acústica depende de la arquitectura de política específica utilizada.
¿Se probó el marco S2A2 en robots reales o solo en simulación? Se realizaron tanto experimentos de simulación como con robots reales, y los resultados con robots reales confirmaron la efectividad de S2A2 sobre la línea base solo visual para tareas acústicamente desafiantes.