La interacción física fiable con objetos es fundamental para que los robots realicen tareas de manipulación con abundante contacto, como insertar una llave, conectar un cable, apretar elementos de fijación o ensamblar piezas. En estos contextos, pequeños errores al estimar la pose relativa o la geometría local pueden provocar contactos fallidos, atascos, fuerzas excesivas o el fracaso de la tarea. Una dificultad central es la observabilidad parcial: el robot debe inferir la pose de un orificio o una cavidad que solo observa indirectamente mediante la visión, la propiocepción y el contacto. La percepción de profundidad proporciona información global útil, pero se ve limitada por el ruido del sensor, las oclusiones, los puntos de vista restringidos y las ambigüedades derivadas de la geometría de las piezas. Las superficies más relevantes para la tarea pueden estar ocultas dentro del orificio o solo quedar expuestas mediante la interacción física.
La idea clave es que la percepción de fuerza y par se vuelve informativa espacialmente cuando se interpreta a través de la geometría y la simulación. Un wrench sin procesar no revela directamente ni el punto de contacto ni la pose del objeto. Sin embargo, dadas el estado del robot, la acción de exploración y una pose hipotética del objeto, una simulación física puede predecir qué evidencia de contacto debería observarse. Comparar el contacto simulado con el medido permite definir una verosimilitud sobre las poses posibles. De este modo, el contacto no es solo una señal de realimentación para el control, sino también una fuente de evidencia bayesiana sobre el estado oculto de la escena. BayesContact también aprovecha la creencia actual para elegir la siguiente acción de exploración, convirtiendo el contacto en un mecanismo de percepción activa.
Fusión multisensorial para la manipulación con abundante contacto
Los métodos de fusión sensorial integran diversas fuentes de información en una representación de estado común, adecuada para ejecutar tareas. En la manipulación con abundante contacto, estas fuentes incluyen cámaras, sensores de fuerza y par, y la propiocepción del robot. Aunque estos métodos son eficaces en tareas de empuje planar, la interacción con fuerzas requiere modelos de contacto que relacionen las configuraciones de los objetos en interacción con las fuerzas ejercidas. Este trabajo se basa en el marco de inferencia bayesiana empleado por métodos anteriores, pero integra verosimilitudes sensoriales proporcionadas por simuladores —en particular, motores gráficos y físicos—, que ofrecen una mayor flexibilidad de modelado.
Estimación de la pose de objetos mediante el contacto
Trabajos anteriores han intentado estimar la pose de un objeto utilizando únicamente la percepción del contacto. Algunos enfoques estiman conjuntamente la pose y la geometría de un objeto en una tarea de empuje planar mediante una representación probabilística y una optimización sobre grafos de factores, empleando modelos de superficie límite para capturar la dinámica de la interacción y suponiendo conocida la ubicación del contacto en el robot. Estos métodos proporcionan aproximaciones eficaces del contacto para el empuje planar, pero las tareas de interacción con fuerzas, como la inserción de una pieza en un orificio, requieren aproximaciones que sigan la ubicación del contacto, algo que puede obtenerse mediante simulación cuando se conoce la geometría.
Se han propuesto características de contacto diferenciables para emplear modelos de contacto en tareas de interacción con fuerzas. Estas demuestran una optimización de dos niveles: la optimización interna resuelve las fuerzas de contacto y la externa resuelve la configuración del objeto. Este método sigue un enfoque similar, utilizando inferencia basada en muestreo para proponer configuraciones del objeto y un simulador para evaluar el modelo de contacto. La percepción táctil es un paradigma habitual para estimar y corregir diferencias de pose. Hay enfoques que emplean distintas modalidades táctiles y aprenden estimadores de líneas de contacto para tareas de inserción en orificios, así como otros que aprenden modelos de sensores táctiles para fusionar imágenes táctiles con imágenes visuales de profundidad. Aunque son eficaces, estos enfoques suponen que se conocen las ubicaciones extrínsecas de contacto. Este trabajo infiere las ubicaciones de contacto y fusiona la evidencia resultante para estimar la pose oculta del orificio.
Inferencia basada en muestreo y contacto
Los marcos generales de inferencia aproximada propuestos para tareas de estimación de pose integran la información mediante grafos de factores. Al combinar distintas modalidades sensoriales, la optimización basada en grafos de factores requiere especificar un modelo directo diferenciable. Debido a la naturaleza intrínsecamente discontinua y no lineal del contacto, a menudo se emplean aproximaciones específicas de cada tarea para hacer posible la inferencia del estado. Este trabajo amplía dicha formulación con verosimilitudes de fuerza condicionadas por la geometría y verosimilitudes de imagen basadas en profundidad, lo que permite comprender la escena teniendo en cuenta el contacto y estimar la pose del orificio en una tarea de inserción de una pieza.
Inferencia bayesiana basada en simulación
La estimación de la pose se formula como una inferencia bayesiana sobre la pose desconocida de un objeto. Dada una observación, la inferencia bayesiana actualiza una creencia previa para obtener una posterior. En el caso de observaciones secuenciales, esta actualización puede escribirse de forma recursiva.
Monte Carlo secuencial
La posterior de la pose del objeto puede ser multimodal debido a las oclusiones, las simetrías, la ambigüedad visual y las explicaciones ambiguas del contacto. Por ello, la creencia se representa mediante un conjunto ponderado de partículas, donde cada partícula es una hipótesis de pose con un peso normalizado. Monte Carlo secuencial (SMC) actualiza esta creencia proponiendo hipótesis de pose, evaluando sus verosimilitudes basadas en simulación, normalizando los pesos de las partículas y volviendo a muestrear cuando es necesario. Esta representación se adapta bien a BayesContact porque cada partícula puede renderizarse o simularse de manera independiente para evaluar su coherencia con las mediciones visuales y de contacto.
Descripción general del sistema
Para la inferencia, cada partícula se utiliza para determinar observaciones de profundidad mediante un renderizador gráfico y observaciones de contacto durante acciones de exploración mediante un simulador físico. Estas observaciones simuladas se comparan con los datos medidos de profundidad y de fuerza y par mediante verosimilitudes. Estas constituyen el front-end del estimador. A continuación, las verosimilitudes se utilizan para actualizar la creencia —a través de las partículas— mediante inferencia SMC, que corresponde al back-end de BayesContact. La inferencia se desarrolla en dos etapas. Primero, las observaciones de profundidad inicializan una posterior visual mediante SMC con refinamiento de Metropolis–Hastings. Después, la fase de contacto parte de la posterior visual y actualiza la creencia mediante exploración con abundante contacto. Durante esta fase, cada paso de exploración puede aportar tanto evidencia de contacto derivada de la fuerza y el par como observaciones de profundidad asociadas; ambas se fusionan mediante una verosimilitud conjunta basada en simulación.
Formulación del problema
Las mediciones se indexan secuencialmente: las primeras corresponden a la fase de percepción visual y las restantes, a la interacción con abundante contacto. La pose del objeto permanece estática durante las mediciones, mientras que la creencia se actualiza secuencialmente a medida que se obtienen nuevas observaciones visuales y de contacto.
Espacio de acciones y exploración protegida
Para recopilar mediciones de contacto, el robot ejecuta acciones de contacto que especifican movimientos de exploración protegidos, diseñados para obtener información sobre la pose del orificio. En la fase de contacto, las acciones se parametrizan mediante desplazamientos planares y de guiñada. A partir del desplazamiento ordenado, el robot ejecuta una inmersión vertical protegida a lo largo del eje negativo. El movimiento termina cuando se supera un umbral predefinido de fuerza y par o cuando se alcanza el desplazamiento máximo. Las acciones se ejecutan mediante un controlador de impedancia cartesiano que sigue una trayectoria de referencia dependiente de la acción. Las mediciones de fuerza y par obtenidas durante el movimiento protegido se convierten en evidencia de contacto y se utilizan en la actualización bayesiana correspondiente.
Experimentos
Para validar BayesContact, se evalúan tres cuestiones:
- ¿La información sobre la ubicación del contacto inducida por la fuerza y el par mejora la observabilidad de la pose?
- ¿Una creencia basada en partículas e inferencia mediante simulación preserva y resuelve mejor la ambigüedad geométrica que las alternativas paramétricas?
- ¿Permite esta creencia realizar percepción activa?
Métricas
La precisión de la pose se evalúa mediante ADD-S, el error de posición y el error de orientación. ADD-S mide la alineación geométrica teniendo en cuenta las simetrías del objeto.
Conclusión
Este trabajo presenta BayesContact, un marco de inferencia basado en simulación que incorpora verosimilitudes de fuerza y par condicionadas por la geometría, así como verosimilitudes de profundidad, junto con inferencia SMC para estimar la creencia sobre la pose de un orificio en un contexto de inserción de piezas. Los experimentos de simulación y con un robot real muestran que el contacto basado en fuerza y par mejora la observabilidad de la pose frente a las estimaciones basadas únicamente en profundidad. La representación de creencia resultante puede utilizarse para realizar percepción activa basada en la ganancia de información.
Preguntas frecuentes
¿Cómo combina BayesContact la información visual y táctil? Utiliza un marco de Monte Carlo secuencial en el que cada hipótesis de pose (partícula) se evalúa de forma independiente frente a imágenes de profundidad (mediante renderizado gráfico) y mediciones de fuerza y par (mediante simulación física); después, las verosimilitudes resultantes se fusionan para actualizar la creencia.
¿Por qué es útil la percepción de fuerza y par para estimar la pose cuando la superficie del orificio está oculta? Aunque un wrench sin procesar no revela directamente la pose, al condicionarlo al estado del robot, la acción de exploración y la pose hipotética, un simulador físico puede predecir el contacto esperado y convertir los datos de fuerza y par en evidencia bayesiana sobre la ubicación del orificio.
¿Qué dificulta la estimación de poses con abundante contacto para los métodos tradicionales basados en grafos de factores? El contacto es intrínsecamente discontinuo y no lineal, por lo que resulta difícil especificar los modelos directos diferenciables que requiere la optimización sobre grafos de factores. BayesContact evita esta limitación mediante inferencia basada en muestreo y evaluación de verosimilitudes mediante simulación.
¿Puede BayesContact elegir sus propias acciones de exploración? Sí. La representación de creencia permite realizar percepción activa: el robot puede seleccionar la siguiente acción de exploración (desplazamiento planar y de guiñada) que maximice la ganancia de información esperada sobre la pose del orificio.